摘要:5 月 21 日,上海海思正式发布 XR 芯片平台,携手 Rokid 共同推进国内 XR 生态的发展。为了更好的适应 AR/VR 场景高分辨率,广视角,低延时的特点,平台推出首款可以支持 8K 解码能力和高性能 GPU、NPU 为一体的 XR 芯片。

Rokid携手海思共创XR生态,推出双目AR眼镜-芯智讯

5 月 21 日,上海海思正式发布 XR 芯片平台,这是一款可以支持8K解码能力和高性能GPU、NPU为一体的XR芯片。为了更好的适应AR/VR场景高分辨率,广视角,低延时的特点,上海海思联手国内领先的AR企业Rokid共同优化了平台专用的算法和方案,双方对语音、视觉、环境感知等AI计算能力做了大量的优化工作,完成了多路视频编解码的高分辨率低延时设计,从芯片规格、系统软件和云端服务多个层面,为XR行业提供AI、交互和多人协同等核心基础能力。

同时,Rokid 宣布加入上海海思的 XR 芯片平台,率先发布首款基于该平台的双目 AR 眼镜——Rokid Vision。

众所周知,作为产业规模超百亿美金,市场空间年增长率超过70%的新兴产业,AR/VR的市场已经迎来了爆发式的增长。AR/VR技术会在教育、医疗、娱乐、地产等各个行业得到全方位的应用,但是目前市场上的AR/VR终端产品仍然在体验上存在着各种问题。

比如,设备分辨率低的问题和还有眩晕问题。

以VR为例,人眼能达到的理想分辨率大约为60PPD(每度像素数),一般支持4KP60解码能力的芯片能支持的单眼分辨率为21.3PPD,对应到电视的话只能等效于480P的电视显示效果,还远远达不到让人感到舒适和沉浸式的效果。而8K的硬解码能力可以支持到单眼42.7PDD,从解码能力上看已经有了大幅的提升,可以支持消费者体验到更清晰的内容。

眩晕问题一方面和人眼的视觉疲劳有关,而显示画质差,纱窗、拖尾、闪烁等过低的画面质量都会引起人眼视觉疲劳,从而造成眩晕,主要还是由于人体视觉感受器,平衡感受器和本体感觉各方面不一致或者冲突时造成的眩晕。

往简单了说就是:眼睛看到动了,但是身体没有感觉到动,或者身体动了,但是眼睛没有看到动。对应到XR的场景就是由延迟造成的动作和画面不一致。而延迟的来源一般有两个因素,一是CPU处理性能不足,不能及时处理;其次是网络造成的延迟。海思XR芯片平台支持8核高性能处理器,强大的CPU处理能力能够大幅提高终端设备计算的速度,从而避免延时的产生;同时该平台针对网络性能也有针对性的做了协议上的优化,可以有效降低网口处理数据导致的延迟,从而降低眩晕症的发生。

AR产品的一个重要应用场景是人脸识别、车牌识别,这需要对AR眼镜摄像头中采集到的视频图像进行实时分析,正确识别出每帧图像中的人脸及车牌,将识别到的结果上传到服务器进行比对,并将比对结果实时显示到眼镜中的屏幕上。从图像采集、分析、上传到显示,耗时越短,速度越快,用户体验越好,而分析阶段是整条链路中耗时最长的一环,想要做到每分钟上百个人脸、车牌在毫秒级时间内完成分析识别,就需要芯片具备强大的NPU算力支持。海思XR芯片平台具备独立的海思专有架构NPU,高达9TOPS的NPU算力为这一功能的实现提供了强有力的保障。

Rokid携手海思共创XR生态,推出双目AR眼镜-芯智讯

作为海思 XR 芯片平台的第一款产品,Rokid Vision 搭载由上海海思和 Rokid 共同研发的 XR 专用芯片,无论是显示亮度、通透度、FoV 等都远远优于市场上现有的产品。Rokid Vision 将应用于安防、工业、教育、零售、会展等多个领域,提供更强大、便携、沉浸的体验。

Rokid Vision 正面外观与普通墨镜相似,镜片内侧有两块独立显示屏,具备 40° 视场角(FOV),1080P 的高清 3D 显示效果,采用光波导显示方案,连同镜腿两侧的立体声音响,可为用户带来等同于一台 4 米外 110 寸 3D 高清电视的沉浸体验。除了低功耗、长续航的特点外,Rokid Vision 还支持 DP 输出,可以连接包括手机、电脑、平板、游戏主机在内的多种设备,同时不需要额外的供电。

目前, AR/VR 技术已在安防、工业、教育等各个行业展开应用,整体产业规模已超百亿美金,并将迎来爆发式的增长。无论是海思 XR 平台的发布,还是 Rokid Vision 的问世,都将为行业注入新的动力,加速 XR 产品的落地应用。

未来,Rokid 和上海海思将为行业提供从芯片、核心算法、软件系统以及 Saas 服务的完整的 XR 产品解决方案,共同推进 5G 时代 XR 产业和生态发展。