面向AR/VR应用,成都视海芯图推出新一代多模态智能芯片SH1580

5月12日,由以“AR/VR/XR×元宇宙”为主题的“2023松山湖中国IC创新高峰论坛”正式在广东东莞松山湖召开。成都视海芯图微电子有限公司(以下简称“视海芯图”)发布了旗下新一代多模态智能芯片SH1580。

据视海芯图创始人、董事长许达文介绍,人工智能的发展与芯片的发展息息相关,从简单的BP神经网络到如今的百亿参数大模型,从结构化场景下的模式识别到AR/VR、元宇宙等终端应用,再到如今的GPT人机交互,很多AI模型的主干网络正从CNN转变为Transformer,但是Transformer在终端芯片上往往面临访存密集型、不规则访存,以及NPU利用率低的难题。

针对这一问题,视海芯图自研了核心的多态神经网络处理器PTPU架构,该架构可同时支持Transformer存储结构和访存优化;原生动态网络支持
可重构数据流,同时高效支持CNN和Transformer;数据压缩与压缩处理架构(同时支持多种精度);支持( DMA)随路操作;可重构数据流,同时高效支持CNN和Transformer;支持混合精度。

视海芯图此次发布的Transformer加速SoC——SH1580正是基于其自主设计的多态神经网络处理器PTPU架构的NPU和3D视觉ISP,配备了4核Arm Cortex-A53 CPU,采用的12nm制程工艺。性能方面,SH1580集成的PTPU具备2 Tops@INT8算力,不仅能支持善于提取局部特征的CNN,也对Transformer、Bert和点云神经网络等新兴AI模型有针对性加速效果;SH1580集成的3D视觉ISP,支持AI-HDR、3D-ToF图像处理,支持6路RGB、1路ToF,也支持RGBD融合视觉。

在功耗方面,SH1580得益于12nm先进制程,以及芯片本身的低功耗设计,独立电源域芯片架构,软硬件协调优化,使得其整体的功耗表现非常出色。在idle功耗模式下,功耗(LPDDR4 1GB)46mW;在S3功耗模式下,功耗仅6mW。

除了芯片本身之外,视海芯图还提供了完整的工具链,包括量化部分、编译器、驱动、模拟器、调试器等。量化方面,不仅有混合精度量化,还有训练后的量化,以及量化感知的训练。在编译器方面,可同时支持CNN和Transformer,同时支持算子的融合,还有CPU和NPU两者的异构计算。还有图算一体,包括动态图的结构。

具体在AR/VR应用方面,为了能够让数字世界跟物理世界实现深层次的融合,需要把数字信息映射到物理世界中。这就需要场景识别功能,还需要支持混合性输入,包括图像输入、语音输入。特别是图像输入这块,往往要输入、接收2D、3D图像。这么复杂的一些场景和算法的话,它就需要一个配套的算法来支撑。

SH1580在SLAM中可以做特征点匹配LoFTR、地点识别SVT-Net。另外,在AR/VR设备的应用中还能实现语义分割 SegFormer以及三维重建 Point-Bert。传统CNN算法很难做稀疏纹理匹配,但是SH1580支持的Transformer可以做到准确的无纹理特征识别。

据许达文介绍,视海芯图此次推出的新一代多模态智能芯片SH1580今年已经完成量产,现在已经出货达到1K以上的订单。

编辑:芯智讯-浪客剑