炬佑智能CEO刘洋20页PPT深入讲解TOF 3D超感知视觉及在机器人上的应用【附PPT下载】
智东西 · 2020-09-30 00:00:00 · 热度:加载中...
炬佑智能CEO刘洋深入讲解TOF 3D超感知视觉及在机器人上的应用

出品 | 智东西公开课讲师 |刘洋炬佑智能CEO提醒 | 关注智东西公开课公众号,并回复关键词论坛02,即可获取课件。

导读:

本文为上海炬佑智能科技公司CEO刘洋在智东西主办的“移动机器人3D视觉论坛”的演讲内容。刘洋老师的演讲主题为《TOF 3D超感知视觉》。

在本次演讲中,刘洋老师对TOF 3D技术和应用展开简单介绍,之后对TOF模组进行详细解读。

本文为此次演讲的图文整理:

正文:

大家好,今天演讲的内容是针对于TOF 3D技术怎么支持机器人更便利地应用,主题为《TOF 3D超感知视觉》。

为什么是3D?随着IoT的发展,3D技术需求变得越来越多,大量的识别不再依靠人,而是需要机器人做自动物体识别,怎么把3D识别功能赋能到机器人上变得很重要。

在过去的四五年中,周围的环境和体验已经有了3D感知的赋能,比如3D人脸、自动驾驶、扫地机器人、物流分拣、家具设计,体感游戏等。不知不觉中,周围被大量的3D感知技术包围,虽然3D感知技术没有得到全面商用,但落地越来越快,有些技术已在行业中开始使用,并大规模量产,特别是在机器人行业。机器人需要智能化,机器人移动、避障更需要智能的3D感知技术。

今天论坛的主题是机器人,我们看到机器人发展是迅速的,从刚开始日本出现的人形机器人,到现在国内的日益成长机器人市场,以及中国的机器人开发能力,我个人认为甚至超过日美的知名公司,像国内有名的机器人送餐,还有服务机器人。过去服务机器人只能站在那里不动,现在可以跟着你走,还能引导上电梯,机器人发展越来越壮大,其中机器人视觉也成为最重要的一环。

炬佑智能专注于开发和提供智能传感与人工智能系统产品和方案。目前3D视觉有3种主流的解决方案:双目、结构光、TOF。双目是最成熟,也是最早的;结构光在精度上得到行业的认可;TOF也有它的独特之处,主要是更直接感知3D技术,因为它是激光雷达。另外它有一些优势,体积可以做得很小,成本也越来越便宜。然而TOF模组很复杂,麻雀虽小五脏俱全,它有很多内容,包括接收器和发射器,因为它是主动光,在做激光雷达的深度测试需要一定的校正和算法的处理,整个TOF的系统也是相当复杂的。

今天主要针对TOF技术和大家做简单的介绍,上图是我在日本图像协会做的演讲,主要要点是,TOF传感器相当复杂,有多样性,而且还有很大的改善余地。机器人视觉除超声波外,基本上都与光相关,光比较复杂,有光的坏处,也有光的好处,光的好处是与人眼一样随时可以判断,坏处是容易受到干扰,双目有颜色、光线的问题,结构光由于打出来的散光一致性很关键,TOF也有相应的问题,光线干扰的去除比较复杂。

针对这些问题,我们做了大量的研发,包括系统芯片和算法的改进,在业内首次提出动态TOF和发光控制TOF,改善了TOF存在的问题。

另外,针对TOF系统的复杂性,因为3D感知不是简单的复制,要把器件放到机器人上。机器人不能只在空调房间工作,一旦温度有变化,就要保证测量的数据是准确的。我们针对温度问题做了大量的算法和芯片的改进,温度从零下30度到100度,特别对一些环境比较恶劣的情况,有些产品需要在南方和北方同时销售的产品,像温度这个特性,我们能够很好解决。

TOF系统不断进化,首先是系统的集成化,我们提供的TOF系统不是给客户一个简单的芯片方案,我们把整个TOF系统接收、发射和处理器整体做集成,客户可以一站式应用,能够很好地放到机器人上,做到比较好的效果。另外是应用适配化,针对不同的机器人可以做一些算法的匹配,第三点是发光多源化,客户需要的机器视觉不只是一个角度,可能还需要广角、近角、远角,有点像手机,我们有发光多源化的能力。总而言之,核心是我们提供系统级的优化方案。

机器人发展有三个阶段,第一阶段是简单的惯导机动,如果产品复杂,基本上不可用,机器人可能是站着不动。现在的机器人发展是图像定位SLAM,类似于酒店的送餐机器人很灵活,因为它有SLAM的能力,但是这还不够,由于机器人缺少目的性,怎么能让机器人像人一样,有更多的目的性做更智能的工作。像扫地机器人已经推出一个方向,它增加更多相应的传感器,特别是避障,机器人可以有目的性做一些事,而且针对环境做判断,而不是在固定算法上做一些固定的流程。

针对智能3D识别,国外已经推出了下一代的机器人,这些机器人要实现目标,智能3D视觉技术必须要更深入导入。我们公司是一家集芯片和系统的技术公司,对于芯片,所有的TOF芯片都提供,同时也有相应的系统能力,我们的覆盖范围在几厘米到20米,而且开发的下一代会达到50米的范围,在应用上支持机器人和智能家居等。

TOF的核心是传感器的像素,我们也在不断开发新一代技术,把像素尺寸做得越来越小,这也带来更多的优势,首先集成度做得更高,TOF的3D像素更立体;第二是成本越来越低,像素小,面积可能是原来的一半,成本是原来的一半;同时在发光上,我们也做相应的努力,上图是2016年的专利:点阵发光,我们在TOF的接收和发射做更有效的系统匹配,把TOF的整体性能做得更好。

另外,针对TOF的算法和运算,我们开发的系统模仿人类的整个感知系统,并与客户一起开发相应的顶层算法。我们有自己的ISP芯片,芯片更加小巧,模拟人类的小脑,小脑是直觉的感知,可以让TOF系统快速感知,同时在像素开发上,也会推出像素级内置运算,即在像素里做相应的运算,这模拟了人眼,人眼虽然有几亿个信号,但是发到小脑是有限的信号。我们把这一套类人脑视觉的系统整体连接起来,希望把TOF技术做得更好。

整体来看,针对TOF系统,我们强调做动态TOF系统,包括发射、接收和处理器。举一个简单的案例,针对不同的客户提供相应的方案,像系统模块的好处是极小,只有手指那么大,可以迅速判断人的方位、距离,而且成本极低。同时针对扫地机器人的避障,我们对特别复杂、细节的地面做了相应的系统支持,内置ISP能够很迅速判断这些细节,这也为机器人和扫地机器人的避障提供很好的方案,而且这个方案可以直接拿来用,不需要做额外的算法开发,人脸也有相应的方案。

最后介绍下我们公司相应的产品,我们有完善的产品线布局,包括TOF发光芯片和处理器芯片,在这个基础上也提供各类的模组方案,同时与业内的顶级系统公司进行紧密合作,根据客户的需求提供相应的模组方案,也提供全套的平台方案。

以上是我今天的分享,谢谢大家的聆听。

本文来源:智东西