独创EVS与CIS融合技术，锐思智芯推出融合视觉传感器

5月12日，由中国半导体行业协会IC设计分会（ICCAD）、芯原微电子、松山湖管委会主办“2023松山湖中国IC创新高峰论坛”正式在广东东莞松山湖召开，本届论坛主题为“AR/VR/XR×元宇宙”。国产高端视觉传感器芯片厂商锐思智芯推介了其自研的新型融合视觉传感器，以及其在AR/VR领域的技术应用。

自2015年以来，全球进入视觉AI时代，视觉数据采集由“给人看”向“给机器看”转变，传统图像传感器痛点频现，面临着动态模糊、冗余数据量大、功耗高、算力消耗大、高动态范围窄（过暗与过曝）等问题。这也推动了基于事件的视觉传感器（EVS）的兴起。

所谓EVS（基于事件的视觉传感器），是模仿眼睛的感光机制而建立的传感器技术，就是以异步方式检测亮度变化，并结合坐标及时间信息，只输出有变化的像素数据，也就是以很高的时间分辨率，仅捕获运动物体的轨迹信息，从而实现高效率、高速低延迟数据输出的视觉传感器。对于AI机器视觉来说，EVS显著优势是数据量较小、可以检测高速物体的动态并进行追踪，与机器学习的兼容性高。但是，其缺点也十分明显，即缺乏静态的图像信号。

锐思智芯的新型融合视觉传感器基于其独创的Hybrid Vision融合视觉技术，即融合了基于事件的视觉传感器（EVS）和传统的CIS图像传感器的优势，可以同步捕捉变化的事件信号和静态图像信号。先通过捕捉动态的事件信号，可以实现更低延迟、更低功耗和数据量的优势。然后再通过叠加传统图像信号数据，帮助补充在帧率、数据量、动态范围等方面的图像数据的不足，这样就可以打破传统视觉传感器的瓶颈和制约，可以提供动静态信息捕捉融合。

据锐思智芯董事合伙人况山介绍，锐思智芯的Hybrid Vision融合视觉技术相比传统的图像传感器和早期的事件传感器相比优势明显，不仅具备图像数据和具有色彩信息的事件数据，而且可以单独使用，帧率可支持超过4000FPS，动态范围大于100db，冗余数据小于20%，像素尺寸仅有1.89μm，暗光表现也更好，功耗更是只有10mW左右。

2021年10月份，锐思智芯发布了首款基于Hybrid Vision融合视觉技术的芯片，主要是用于验证融合方案的。随后在2022年7月，发布了首款高端融合视觉感算一体传感芯片ALPIX-Eiger，主要是适用于智能手机、运动相机等消费电子产品。

今年锐思智芯将发布超低功耗融合视觉视觉传感器ALPIX—Titis，预计明年会正式面向市场发布，适用于IPC、智能家居以及AR/VR等应用。

具体到AR/VR相关应用方面，况山表示未来AR/VR对于的视觉传感器要求一定是往更高帧率方向发展，而锐思智芯的融合视觉视觉传感器可支持非常高帧率的识别（最高可以达到10000FPS）。

具体的功能应用方面，比如可以进行快速眼动跟踪，可以进行被动的识别判断，可针对视线焦点区域来进行高质量图像生成，其他区域可以弱化，这样可以降低计算量、减少延迟、​降低功耗；还可以与结构光结合起来，优化结构光的方案​，可以追踪精度将比现有行业当中所有的方案提升一个量级，达到0.3度的精度。

另一个应用方向就是SLAM，可以基于SLAM做运动检测、人脸检测。而基于EVS的SLAM可实现高鲁棒性、低功耗、更少数据量、更少计算量，甚至整个系统的成本也有所下降。因为，后端的SoC将不需要成本更高的高算力芯片，可能用一个比较便宜的芯片就可以实现。

另外，凭借融合视觉视觉传感器在高动态范围方面的优势，可以实现针对过暗与过曝的场景下，进行基于事件流重构图像，得到更为清晰的图像。

况山表示，融合视觉视觉传感器未来市场前景很大。根据Yolo和汉能报告预计，未来融合视觉视觉传感器出货量将达59亿颗（智能手机42亿颗、智能家居5亿颗、安防监控2亿颗、自动驾驶10亿颗），2030年市场规模将达到1400亿元。​

据了解，锐思智芯创立于2019年，是国家高新技术企业，公司以深圳为运营总部，在北京、瑞士、南京设立了分公司和研发团队。基于独创的 Hybrid Vision融合视觉技术，锐思智芯突破性地研发了ALPIX系列融合式视觉传感芯片，为智能手机、消费电子、智能安防、智能汽车领域提供一体化智能视觉解决方案，持续赋能视觉AI生态。

锐思智芯拥有芯片、算法、软件、硬件全栈式研发能力，核心技术专家全部来自全球顶尖机构。团队成员很多来自之前在瑞士微电子工程中心、Arm、索尼等公司，在高端视觉传感器领域拥有超过16年技术积累，在事件驱动传感器领域拥有超过8年研究经验。公司成立以来，团队已有120多人，86%都是研发人员，已申请专利110余项，发表国内外文献超20篇。

编辑：芯智讯-浪客剑