最新公告: 欢迎光临本公司网站!

产品展示
联系我们
400-123-4567
地址:广东省广州市天河区88号
电话:400-123-4567
传真:+86-123-4567
手机:13988999988
邮箱:admin@baidu.com
手机幻灯

当前位置:葡京网址 > 手机幻灯 >

打破常规CMOS芯仑欲用动态视觉传感器掀起自动驾

文章来源:admin 更新时间:2019-01-18

  原标题:打破常规CMOS,芯仑欲用动态视觉传感器掀起自动驾驶新浪潮 传统摄像头正朝着更高帧率、更大分

  传统摄像头正朝着更高帧率、更大分辨率的方向发展,多传感器融合也被行业定义为自动驾驶实现的必经之路,这带来的是越来越大的数据量。多数软件芯片公司还在寻找如何快速准确处理大量数据的最佳方式,而芯仑科技却将精力放在机器视觉的数据之源——前端摄像头。

  11月28日,芯仑科技创始人兼首席科学家陈守顺教授出席合肥高新区举办2018全球物联网创新峰会,进行了关于《颠覆性的物联网感知方案——动态视觉传感器》的主题演讲。

  打破常规的 CMOS 图像传感器和图像处理算法,从博士时代开始探究动态视觉传感器的陈守顺,将这项技术应用到自动驾驶创业中。2012年,陈守顺做出第一款动态视觉传感器芯片;2015年,其带领团队在新加坡成立Hillhouse Technology;两年后的夏天,团队回国,公司重新命名为上海芯仑光电科技有限公司。当初的视觉传感器芯片经过多轮产品迭代,目前已经演进至第五代CeleX-V(100万像素,车规级)。

  动态视觉传感器路径上的供应商为数不多,芯仑与瑞士的Inilabs、法国的Prophesee、三星(licensed IP)属于同一队列。专注汽车行业的法国咨询公司YOLE曾将动态视觉传感器定义为L4和L5级别的自动驾驶必不可少的传感器之一。

  传统摄像头提供某一时刻的平面图象,工作方式大致经过重置电荷累计、曝光、输出三个阶段。电荷量根据输入光的强度发生变化,其将捕捉到的光学信息(包括采集点的灰度和颜色)转化成数字信号,实现场景的还原。陈守顺提到传统传感器在数据获取方面依旧存在以下问题:

  不连续的数据获取:传统传感器并非连续曝光,采集存在间隔,摄像头仅在曝光阶段观察世界,不曝光时是不看东西的,这造成对物体的追踪存在盲区,丢失了大量物体运动信息,为后端图像处理算法带来问题;

  芯仑采用动态视觉传感器(DVS)解决上述问题。基于新型的仿生动态图像传感器芯片技术,芯仑研发出CeleX™动态视觉传感器。陈守顺提到,CeleX传感器的每个像素都能连续的单独监测光强的波动,并在达到阈值时激发事件从而被读出。

  雷锋网新智驾了解到,面对快速运动的像素点,常规传感器存在固定帧率、曝光概念,无法准确捕捉完美的运动点。如上图所示,常规传感器拍摄到的多为一段小条,且存在间断。不同于传统CMOS图像传感器,动态视觉传感器没有曝光、帧率概念,没有闲置时间,CeleX动态视觉传感器为连续三维的点云,在X、Y、T空间内对物体运动轨迹进行连续标注,包含像素点运动位置、时间信息,且时间坐标可以精确到纳秒级。

  陈守顺将动态视觉传感器喻为“敌不动、我不动”,其每一个像素点可进行独立的运算,在且仅在像素点发生光强变化时进行数据输出,产生较低的数据率。即对于机器视觉而言,物体没有变化时不产生数据流传输,传感器仅对有效的像素点进行记录,从而剔除冗余数据。

  由于像素点单独获取数据,并以对数方式进行光电信号的转换,不再受传统的成像参数(曝光时间、白平衡等)影响,CeleX在高动态范围方面表现更好。在特殊场景如隧道出入瞬间,传感器不受光照剧烈变化影响,可以做到场景及运动物体全部清晰,这对自动驾驶的意义很大。

  鉴于动态视觉传感器中,芯片的输出数据不受帧率影响,运动频繁的点读出次数会相应增多,因此可以完整记录下打壁球等物体运动的过程。

  CeleX传感器对数据进行高速采集,相当于每秒几十万帧,像素点的时间分辨率为5纳秒,动态范围超过120dB。同时具备兼容性,CeleX也能提供传统图像传感器的全副画面,可以兼容使用基于全幅图像的算法,并能在传感器芯片上进行光流运算,提供全分辨率运动矢量信息。

  陈守顺着重提到一点,CeleX动态视觉传感器输出类似于激光点云,包含三种输出码流方式:

  动态模式:通过对自然光强变化的判定输出仿生的动态特征脉冲信号(X、Y、A、T);

  光流模式:芯仑独有的密集光流模式,无需降维,从芯片上得到光流向量场信息,直接输出全分辨率运动矢量信息(方向和速度),无需后期算法处理。

  这也正是芯仑同其它家动态视觉技术方案解决商的一大不同之处。动态视觉传感路径上共有四家公司:瑞士的Inilabs、法国的Prophesee、三星(licensed IP)及芯仑科技。芯仑最大的优势在于具备三种输出数据格式:动态模式、图像模式及光流模式。Inilabs、Prophesee仅具备前两种输出模式。

  雷锋网新智驾了解到,通过传统传感器计算光流非常消耗资源,而CeleX全幅密集光流模式能在芯片采样层级上就能实现。CeleX通过灵活利用三种数据流对算法进行优化,其算法复杂程度在很多场景下能降级上千倍。

  芯仑将自己定义为机器视觉系统解决方案提供商,CeleX作为一种平台化技术,根据不同的应用场景和市场需求,芯仑提供芯片、技术授权或终端解决方案。面向车载领域,CeleX应用到车内驾驶员监控(DMS)和驾驶辅助系统(ADAS)两大场景。

  芯仑选择从后市场切入,基于动态视觉芯片实现驾驶员监控,进行眼睛眨动及面部肌肉的变化情况识别,同样输出三种码流。芯仑目前同物流车队合作进行驾驶员监控产品测试。

  芯仑ADAS产品车外ADAS相关,陈守顺提到,跟传统的摄像头技术路径相比,其传感器从感知到芯片组信号处理输出,再到控制指令输出环节速度节省几百毫秒。对于一台时速120公里/小时的行驶车辆而言,CeleX方案将节省5米制动距离。

  雷锋网新智驾了解到,专注汽车行业的法国咨询公司YOLE将动态视觉传感器定义为L4和L5级别的自动驾驶必不可少的传感器之一。自动驾驶量产前夜,在ADAS 市场掀起小风浪的动态视觉传感器又能否助力更高级别自动驾驶呢?

返回列表

上一篇:没有了

下一篇:焊接方法:微软“小冰”诞生背后的故事

地址:广东省广州市天河区88号电话:400-123-4567 传真:+86-123-4567

网站地图 | xml地图
Copyright @ 2011-2018 葡京网址