让智能手机升级为“人工智能手机”,高通做了哪些工作?

“我们觉得人工智能这项技术会成为未来的基本技术,就像通讯,像互联网一样无所不在。未来很快会在智能手机前面加‘人工’两个字,叫人工智能手机。”在日前由芯智讯主办的“新交互·新风口——2017生物识别技术与应用高峰论坛”上,高通(中国)资深高级市场经理刘学徽先生非常肯定的说到。

2017生物识别技术与应用高峰论坛:高通虹膜识别及3D人脸识别解决方案揭秘-芯智讯

△高通(中国)资深高级市场经理刘学徽先生

从智能手机到“人工智能手机”

确实,自去年以来人工智能技术在很多行业开始落地,不少智能手机厂商也纷纷引入人工智能技术到自己手机产品当中。早在2016年12月,华为荣耀就发布了一款ha号称具有人工智能的智能手机——荣耀Magic。这款手机是由华为2012实验室耗时近两年时间研发而成,荣耀Magic搭载了基于Andriod系统重新开发了Magic Live系统,其中就整合了多项人工智能应用。此外,小米、OPPO也有与知名的人工智能企业商汤科技合作。

8月22日,华为正式宣布将于9月2日在德国IFA 2017展会上举办新品发布会,并称“一起见证HUAWEI Mobile AI的到来”。届时,华为将将正式发布一款“人工智能处理器”,外界认为这款人工智能芯片就是麒麟970。或者,可以说华为将人工智能整合到了麒麟970当中。这也意味着后续搭载麒麟970的智能手机将成为一款人工智能手机。

虽然,智能手机依靠云端人工智能服务,也能够实现“人工智能”,但是在本地终端上进行人工智能计算也有着非常强的需求。比如,个人隐私数据,用户可能会觉得 上传到云端会对隐私不利。另外,人工智能的操作和运算最好是发生在离它最近的地方做运算,这样会降低延时。比如,无人机飞的时候,它的一些判断、运算当然是在无人机本身上面操作,这样延时会少。另外也可以高效利用网络。目前设备非常多,非常庞大,随时随刻会产生大量数据,如果所有的数据都依赖云上来操作的话,可以想象通信网络是承担不了的。如果在端上做一些及时有效的人工智能运算,则可以让通讯更加有效。

而如果要在本地终端上来做人工智能运算,那么首先就需要提高手机芯片的运算力,并且要控制好功耗;其次要改进算法,因为本地终端上的算法和云端上的算法的核心技术点不一样,因为本地的资源有限,存储空间有限,电池功耗也是非常要注意的地方,所以在这种情况下运算要精简,要在在保证精度的情况下精简;最后,算法还需要一个很好的、很有效的开发工具(SDK/开放发框架),让运算在这些终端更容易布署也是非常重要的。

从现有的智能终端来看,智能手机无疑是数量和用户最为庞大的。“我们预测从2017年开始到未来5年,智能手机的出货量会达到85亿,量非常大。如果有好的人工智能技术和算法能够在这个平台上进行部署,显然智能手机将会更快助推人工智能时代的到来。”刘学徽表示:“目前高通已经在这方面做了非常多的工作。”

为了推动人工智能在智能手机上的部署,高通做了哪些工作?

1、升级骁龙神经处理引擎

那么为了推动人工智能在智能手机上的部署,高通具体做了哪些工作呢?在今年年初的骁龙835国内的发布会上,高通就表示,对骁龙神经处理引擎软件框架进行了全新升级,除了支持支持caff、coffe2,还包含了对Google TensorFlow等神经网络和模型框架的支持,以及对具有Hexagon向量扩展(HVX)特性的Hexagon DSP的增强。增强了包括了对定制神经网络层的支持,以及对骁龙异构核心的功耗与性能的优化。采用机器学习的OEM厂商和软件开发商现在可以实现丰富的体验,例如智能摄影、强大的安全性与隐私保护、智能汽车与个人助手,以及极具响应性的逼真VR和AR体验等。

在本次由芯智讯主办的“新交互·新风口——2017生物识别技术与应用高峰论坛”上,刘学徽表示,目前高通已经做了一个SDK,这是一个软件,对于硬件并没有太高的要求,已经出货的骁龙800/600系列芯片,只要装入了这个SDK,就可以让人工智能的算法加速。

“我们的手机芯片目前有CPU、GPU、DSP可以做运算,但是同样的一个算法在GPU上速度要比CPU快4倍,如果在DSP上则要比CPU快8倍。在能效方面,GPU运算要比CPU节省8倍,DSP则可节省25倍。显然,通过DSP来做神经网络运算是最优的选择。”刘学徽还透露:“高通未来也会出专门用来做神经网络运算的核,未来算法也会不断的演进。包括优化策略, 一层是工具会越来越优化,另一层是终端设备,包括功耗的分配都可以考虑到人工智能的优化需求。”

2、增强智能手机的感知能力

不久前,高通正式宣布其下一代骁龙处理器(预计今年12月公布)将支持红外3D感知技术,并且推出了基于Qualcomm Spectra ISP技术的摄像头模块项目。而这也意味着未来基于高通骁龙处理器的智能手机将能够实现面部识别等功能。不过,当时高通并未介绍相关的技术细节。在本次由芯智讯主办的“新交互·新风口——2017生物识别技术与应用高峰论坛上,高通也首次正式公开介绍了其最新发布的3D感知技术解决方案。

2017生物识别技术与应用高峰论坛:高通虹膜识别及3D人脸识别解决方案揭秘-芯智讯

高通推出了三款基于Qualcomm Spectra ISP技术的摄像头模组:1、前置 iris 生物识别模组;2、入门级计算机视觉摄像头模组;3、高端计算机视觉摄像头模组。

2017生物识别技术与应用高峰论坛:高通虹膜识别及3D人脸识别解决方案揭秘-芯智讯

前置 iris 生物识别模组,采用的是红外技术,基于高通的软件 OV2281图像传感器(200万像素),目前的主要用于虹膜识别。具有40ms的低延时,低功耗,并且还可以通过大多数太阳镜进行识别。同时支持活体检测,不会被2D图像或者3D模型欺骗。

2017生物识别技术与应用高峰论坛:高通虹膜识别及3D人脸识别解决方案揭秘-芯智讯

这个“入门级计算机视觉摄像头模组”,属于被动光技术,目前已经在智能手机当中被广泛应用,比如现在常见的后置双摄。其原理就是通过两个摄像头的角度差来拍摄两幅图像,最后重叠,算出来物体到摄像头的距离;这个优点就是功耗比较低,没有额外需要光源,缺点就是在暗光下效果会受影响。

2017生物识别技术与应用高峰论坛:高通虹膜识别及3D人脸识别解决方案揭秘-芯智讯

而“高端计算机视觉摄像头模组”则采用的是主动光技术,由红外发光器、IR 摄像头以及一个RGB 摄像头(据说有1600万像素、2000万像素两个版本)组成。通过红外发光器发射出一束光,形成光斑,再通过IR 摄像头读取该图案,并对点状图在物体上发生的扭曲、以及点与点之间的距离进行计算,再加上RGB图像,结合起来就构成了一个3D模型。这个好处就是在黑暗中,尤其光线非常差的环境下,效果也会非常好。而传闻中的苹果iPhone 8就采用的就是类似这样的3D摄像头模组。

2017生物识别技术与应用高峰论坛:高通虹膜识别及3D人脸识别解决方案揭秘-芯智讯

此前,高通也对该摄像头模组的3D深度感知技术进行了现场展示。可以看到,其捕捉到的画面精度非常的高。据称,它的深度超过一万点,点距精度达到0.1mm。它可以用来做面部识别,以及物体3D重建与制图等。

不过,这并不是说高通自己要来推这些摄像头模组。刘学徽表示, “前面介绍这三个模块,不是说高通会出一整套的,包括硬件、包括软件的方案,而是骁龙芯片会支持这样的技术。”

换句话来说,这三款模组都会与高通新的Spectra ISP技术进行结合,将会进一步提升深度感知功能,处理速度更快、更准确。而且,很快基于高通下一代处理器的智能手机就能够部署与iPhone 8一样的3D人脸识别系统。高通此举也是在向众多跟风苹果的厂商透露一个信息,那就是“苹果的3D人脸识别系统没什么了不起,我们的骁龙处理器也能帮你们实现。”

此外,会上,刘学徽还介绍了高通新一代的超声波指纹识别技术。

高通的新一代超声波指纹识别

目前全面屏已经成为的智能手机的一大趋势,而与之相匹配的屏幕内指纹识别技术也引起了外界的极大关注。在今年的MWC上海展上,vivo就展示了一款可实现屏幕指纹识别的样机,其正是基于高通的新一代指纹识别技术。

超声波指纹实际上也是一种3D感知技术,是通过超声波原理把指纹的形态构建出一个3D图形,跟已经存在终端上的信息做一个比对。它的优点在于可以穿透各种材料,其防水、防油、穿透性各方面较电容式表现更优异。这也使得手机整机防水更有意义,解决了仅能防水而不能在水环境下使用的难点;同时也支持终端用户在极端湿手指条件下解锁,点按,手势等功能操作。此外,超声波指纹识别还支持活体检测。

2017生物识别论坛:全面屏趋势之下,超声波和光学指纹谁更有优势?-芯智讯

由于超声波具有很好的穿透性,所以做指纹识别,可以得到三层数据:第一层指纹皱子直接接触最外层的皮肤;第二层指纹的纹路结束和分杈的点(节点);第三层汗孔和皱子起始的地方,活体检测靠心血管、心跳检测判断是否为活体。

具体到高通的新一代超声波指纹识别技术参数方面,除了继承超声波指纹识别防水、放油、活体检测等特点指纹,在穿透性方面,目前高通的新一代超声波指纹识别技术可以穿透800μm的玻璃和525μm的金属,也可以穿透1300μm的OLED屏(比此前MWC上海展上公布的数字1200μm更高了一些)。而目前柔性AMOLED屏的厚度最薄可以缩减到100-200μm,玻璃盖板可以做到500μm左右,这也意味着其可以实现屏幕内指纹识别。

当然正如前面所提到的,超声波指纹识别还能够进行心血管、心跳检测判断是否为活体,这也意味着超声波指纹识别后续可以有更多的应用。

而随着未来基于高通各项3D感知技术在智能手机上的部署,智能手机的感知能力将大大提升,这也将进一步推动人工智能技术在智能手机端的应用。

3、通过机器学习来增强设备安全

在人与智能手机的交互的过程中,智能手机会搜集到很多的数据和信息,特别是在身份认证的过程中,个人身份信息,不管是指纹、虹膜还是人脸识别,在具体应用的时候需要一个安全的执行环境,同时需要手机智能的判断是否需要这个安全环境。这个时候就需要采用到机器学习的相关技术。

目前智能手机上进行移动支付时会普遍用到Trustzone技术来保障支付安全。Trustzone是ARM做的一个技术架构,相当于在一个芯片中建立一个防火墙,一侧是Andoriod系统,一侧是安全操作系统。两个操作系统不能同时运行,如果需要做一些安全操作系统的时候,就要智能手机自动切换到Trustzone模式。现在的指纹源文件的存放都是存放在Trustzone当中,包括未来的虹膜识别和人脸识别都需要这个技术做支撑。

006

此外,高通还推出了基于摄像头的人眼认证方式。比如通过前置摄像头进行认证,当前置摄像头开启后,系统自动切入安全模式,然后这个时候摄像头信号直接进入Trustzone。在这里面,摄像头检测到的虹膜数据与Trustzone当中的虹膜的源文件做一个比对。比对完成之后,由Trustzone直接发信息给APP,通知比对成功。整个过程,APP是无法接触到身份认证信息的,非常的安全。

作者:芯智讯-浪客剑

0

付费内容

查看我的付费内容