摘要:对于智能手机厂商及消费者来说,除了手机的处理器性能及拍摄性能之外,手机屏幕的显示效果也一直是大家关注的焦点之一。特别是在用户观看视频开始越来越多的由电视、PC等大中屏端转向智能手机等移动终端,同时手游市场也迅速崛起的趋势之下,如何将体验更好的大屏显示技术引入到移动设备,成为了智能手机厂商、屏厂、显示芯片厂商以及内容提供商们发力的一大方向。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

对于智能手机厂商及消费者来说,除了手机的处理器性能及拍摄性能之外,手机屏幕的显示效果也一直是大家关注的焦点之一。特别是在用户观看视频开始越来越多的由电视、PC等大中屏端转向智能手机等移动终端,同时手游市场也迅速崛起的趋势之下,如何将体验更好的大屏显示技术引入到移动设备,成为了智能手机厂商、屏厂、显示芯片厂商以及内容提供商们发力的一大方向。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

△Cisco的数据预测,到2022年智能手机将成为首选观看视频的设备,占比超过50%。同时,到2022年,移动视频也将在整个移动流量中占据主导地位,占比将高达79%。

因此,我们也可以看到,智能手机在继屏幕尺寸、分辨率及材质的持续提升之后,屏幕的高动态范围 (HDR)技术以及高帧率,正在成为智能手机厂商及用户追逐的热点。

比如近期发布的iQOO Neo5、OPPO Find X3、Redmi K40系列、魅族18系列都标配了支持HDR10+及120Hz高刷新率的屏幕;华硕ROG游戏手机5系列支持HDR10+,屏幕刷新率达到了144Hz;腾讯红魔游戏手机6不仅支持HDR,屏幕刷新率更是提升到了165Hz。当然这也使得手机的成本大幅提升,售价自然也不菲。那么HDR及高刷新率真的能够给手机屏幕显示效果带来新的革命吗?移动端的HDR及高帧率内容生态是否也已经跟上了手机硬件的发展?

在这之前我们需要先来了解下HDR与高刷新率为屏幕显示效果究竟能够带来哪些提升。

HDR意味着什么?

所谓HDR(High-Dynamic Range,高动态范围图像技术),是一种能够提供更大的动态范围以及图像细节的显示技术,是根据不同的曝光时间的LDR(Low-Dynamic Range,低动态范围图像),并利用每个曝光时间相对应最佳细节的LDR图像来合成最终HDR图像。HDR能够更好的反映出真实环境中的视觉效果,即实现接近人眼所能覆盖的色域,亮度和对比度范围。

如下图中的“蛇形图”代表的就是我们人眼所能看到的所有的颜色。目前传统高清电视所能看到的是Rec.709这个图里面的最小的这个黄色三角形所覆盖的色域范围;而一些高阶UHD电视则基本可以看到Rec.2020这个黑色三角形所覆盖的色域范围,这个范围已比较接近人眼。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

不过目前在智能手机上,还没有支持到Rec.2020,中高端手机大都也只支持到DCI-P3色域,介于Rec.2020和Rec.709之间。值得一提的是,DCI-P3也是美国电影工业为数字电影院所制定的色域标准。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

在亮度方面,人眼所能分辨的范围是0到10000 nit,超出这个范围来说,对于人眼也就没有了意义。而普通液晶电视能表现的最低亮度为0.1 nit(OLED可以为0 nit),最亮为500到1000 nits之间,现在一些电竞显示器可以达到1400 nit。同样,现在高端旗舰手机的屏幕最高亮度也达到了电竞显示器的水准,比如三星Note 20 Ultra、红魔游戏手机6的屏幕最大亮度似乎都达到了1500nit,魅族18系列的屏幕也达到了1300 nit。

这里顺便提一句,一些支持HDR 10或HDR 10+的屏幕都支持10bit色深,这个色深指的是颜色的细腻程度,数值越大色彩过渡越平滑自然。大多数的显示器都是8bit色深,可以显示1670万种颜色。而通常我们所说的HDR屏幕的色深则为10bit或12bit,这使得它们可以显示10.7亿种颜色或687亿种颜色。虽然,对于我们人类的肉眼,最多能够分别1000多万种颜色。但是它在数据上定义了成像中更多、更高质量的细节。

所以,现在所谓的手机HDR屏,并未达到严格意义上的接近人眼所能覆盖的色域及亮度范围,当然相比之前的SDR屏已经是要高出了很多,能够为用户带来更好的显示效果体验。

高刷屏与高帧率内容

至于屏幕的刷新率(Refresh Rate),又称帧率,指的是显示屏对于所显示的画面每秒刷新的次数。现在大部分手机屏幕刷新率都是在60Hz,也就是每秒刷新60次画面。而高端的旗舰机现在很多已经达到了90Hz/120Hz,最新发布的腾讯红魔游戏手机6系列更是达到了165Hz。

那么,高刷新率的屏幕能够带来什么好处呢?

在这之前我们需要提到与之对应的高帧率(High Frame Rate/HFR)这个概念,即视频或者游戏内容每秒所展示的画面数量。

我们都知道我们所看到的视频或游戏等画面都是由一帧一帧的静态图片所组成的,而通常条件下,人眼的识别连贯图像的速度是24FPS(帧/秒),所以很多的视频或者游戏画面如果能够达到24FPS,那么人眼看到的画面就是连贯的画面。

但是这并不代表,有24FPS就够了。因为人眼还是能够感知到高帧率和低帧率之间的区别,帧率越高,画面越流畅,带来的视觉体验效果也就越好,特别是在电影在展示快速移动的画面时,或者是画面需要频繁快速变换的游戏当中。有实验表明,一般游戏玩家也能分辨出“144FPS”和“240FPS”的游戏显示画面所带来的体验区别。

所以,如果要更好的显示高帧率的内容,就需要高刷新率的显示屏。比如,虽然游戏或视频内容达到了120FPS,但屏幕刷新率只有60FPS,那么人眼所能看到的效果还是60FPS。如果屏幕刷新率达到了120Hz甚至更高,那么无疑将能够更好的体验到120FPS视频或游戏内容所带来的极致效果。

如何破解内容与设备的断层问题?

虽然现在很多的高阶智能手机屏幕都已经开始支持HDR以及高刷新率,但是HDR及高帧率的内容却仍是比较匮乏。

数据显示,目前超过98%的流视频都是SDR,超过98%电影的帧率都是24FPS。同样对于手机游戏来说,大多数帧率都还是在30/60FPS左右,能够达到120FPS的游戏内容还是偏少。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

那么如何来解决现有的手机硬件与内容之间的断层问题呢?目前主要有两种解决方案,一个是加大HDR及高帧率内容的制作和产出,但这个需要的时间周期和资金投入较大;另一个则是利用技术手段将现有的SDR及低帧率内容转换成HDR及高帧率内容。

众多HDR及高刷新率手机的幕后功臣:Pixelworks

其实在2020年,许多的智能手机厂商就有推出很多支持HDR及高刷新率(90Hz及以上)的旗舰智能手机,比如OnePlus 8 Pro、OPPO Find X2、黑鲨3系列等。同样的,对于这些手机厂商来说,虽然它们的手机硬件能够支持HDR及高刷新率,它们也有与一些视频及游戏内容商合作,但是HDR及高帧率内容依然还是比较匮乏。那么他们是如何来解决这个问题的呢?答案是与全球知名的视频和显示处理解决方案提供商Pixelworks合作。以上这几款手机都无一例外的内置了Pixelworks的X5 Pro的视觉处理器。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

除了以上介绍的这几款2020年发布的旗舰机之外,之前的黑鲨一代、二代游戏手机,华硕ROG一代、二代游戏手机也都采用了Pixelworks的视觉处理器。此外,近几年诺基亚、TCL、酷派、中兴的一些机型也有采用Pixelworks的视觉处理器或Pro软件来提升手机的显示效果。截至去年三季度,已有7家手机客户推出的超过30款机型搭载了Pixelworks的显示处理器或Pro软件。

而最新发布的iQOO Neo5、华硕ROG 5系列手机、OPPO Find X3也都采用了Pixelworks的技术。

Pixelworks的全球销售与市场资深副总裁熊挺告诉芯智讯:“无论是在高端旗舰机上,还是在普通的千元机上,Pixelworks的视频和显示处理技术,都可以为智能手机的显示效果带来显著提升。即便是对于低成本的智能手机,仅采用Pixelworks的软件IP,也能为手机显示效果带来不错的提升。”

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

△Pixelworks的全球销售与市场资深副总裁熊挺

据介绍,作为全球知名的视频和显示处理解决方案提供商,Pixelworks拥有超过20年的显示和视频处理技术积累(在3LCD投影机主控市场占据80%以上的市场份额),拥有360多项已发布/待批专利基本图像处理IP,其中就包括行业领先的色彩校准及管理技术,OLED显示屏的无闪烁DC调光和超平滑亮度控制及LCD显示屏的动态亮度控制技术,以及独特的全时HDR技术和精确的HDR10 / 10 +色调映射技术。能够为视频、游戏和照片提供最佳的实时SDR转HDR效果。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

此外,Pixelworks还拥有MEMC(Motion Estimate and Motion Compensation,运动预估和运动补偿)技术,可将低帧率的视频内容插帧到高帧率,比如将24FPS的视频插帧到60FPS,把60FPS的视频插帧到120FPS(根据两个相邻帧的关系,计算物体运动轨迹,反推运动矢量,计算出一张中间帧的画面,然后插入,提升视频帧率),大幅提升视频播放的流畅度。

此外,对于高帧率的手机游戏匮乏问题,Pixelworks也可以通过其视觉处理器将30-60FPS的游戏插帧提升至90-120FPS。

不同于前面提到的先读取相关帧然后再计算插帧的MEMC视频插帧技术,熊挺强调:“对于手游来说,时延性是影响体验的一项关键指标,而先读取相关帧然后计算中间帧显然会提高时延,因此我们采用了前预插帧技术,即与游戏运营商合作,提前读取一些游戏的命令和运动矢量等前瞻性因素,来提前生成一帧游戏画面插入,提升游戏的帧率。”

(这里芯智讯解释一下,为什么提前读取游戏的命令和运动矢量,能够提前生成一帧画面,虽然很多游戏手机的屏幕刷新率达到了120Hz,但屏幕的触控/按键采样率很多都达到了240Hz甚至更高。比如魅族18系列的触控采样率为240Hz,黑鲨3系列触控采样率为270Hz,华硕ROG游戏手机5系列触控采样率为300Hz,红魔6的双触控游戏肩键的触控采样率更是达到了400Hz。也就是说游戏操控命令采集频率是比画面刷新率更快的,这也是为什么可以提前根据游戏的命令和运动矢量来提前生成一帧插帧。)

此外,Pixelworks的游戏插帧技术还可以降低目前高刷新率手机在运行高帧率手游面临的高功耗及发热问题。因为正常的高帧率手游的每一帧画面都需要依赖手机GPU来计算生成,这样会给GPU带来很大的负担,功耗和发热也必然会增加。

据熊挺透露,利用Pixelworks的游戏插帧方案,可在发挥高刷新率屏幕的优势的同时,减负GPU,实现30%-40%左右的功耗降低(相对于正常运行高帧率游戏的方式),进一步提升手机的续航时间,减少手机发热。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

值得一提的是,Pixelworks最新推出的第六代移动视觉处理器——i6,是旗下首个具有集成AI处理单元的视觉处理器,应用了大量移动显示数据集和训练模型,能够利用AI智能地提升视频和游戏内容的动态范围,同时可根据环境光照明条件、内容属性、显示特性和使用模式来优化显示屏的对比度、清晰度、亮度和色温,可为视频、游戏和照片提供最佳的实时SDR转HDR效果。

据介绍,Pixelworks i6这款处理器的总功耗比它的前身(Pixelworks i3处理器,之前称为Iris 3)降低了40%。

最新发布的华硕ROG游戏手机5系列就采用了Pixelworks最新发布的i6视觉处理器。

构建TrueCut生态

需要指出的是,前面所介绍的将现有SDR内容转换为HDR内容的方式,始终只是一个退而求其次的解决方案,SDR源内容再怎么通过算法提升,也不可能达到真实的HDR内容那么丰富的细节。如果要将HDR源内容完美的呈现到智能手机屏幕上,提供与大屏一致的HDR体验,需要一套完整的端到端的解决方案。

而这一整个链条涉及到了HDR内容制作方(影视制作公司)、内容分发商(各大视频平台)、播放器技术厂商、手机SoC厂商、显示处理器厂商、屏厂、智能手机厂商等众多的环节。

显然,对于手机厂商来说,仅打通整个硬件环节就有非常大的挑战。手机厂商需要联合手机SoC厂商和屏厂来一起对于手机屏幕显示效果进行联合优化,但是手机SoC厂商很难来针对每款手机的屏幕来进行针对性的优化,同样屏厂也很难来配合手机厂商针对每款手机都来做优化,毕竟一个手机厂商一年可能会推出10多款的手机新品,而市场上也有着数十家手机厂商,如果每家手机厂商的产品要去配合做优化,那么工作量显然极为巨大。而屏厂和手机SoC厂商的商业模式则都是提供标准化的产品来满足广泛的客户需求。因此,这也给了Pixelworks以机会。

Pixelworks提供的独立显示芯片,可以成为手机SoC和显示面板之间的桥梁,并将Pixelworks的显示和视频处理技术引入到手机,帮助手机厂商实现将大屏幕上的显示技术引入到移动设备。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯
揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

除了在硬件端的布局之外,Pixelworks还开始涉足HDR内容生态,希望将HDR源视频最初创作的意图完美的在手机显示屏上呈现出来。

视频的创作实际上是通过摄像机的镜头捕捉外界的环境光线,将光信号转变为电信号,再通过编码芯片制作而成需要的视频格式,而且为了适应不同的观影设备(投影机/数字影院/电视/电脑/手机),内容分发商在视频的分发过程中,可能还需要将视频压缩/封包成各种格式。而视频的播放,则是通过各种设备的处理器将视频进行解码处理,将视频信号传递给显示屏幕,再由显示处理器驱动屏幕,将电信号转换为光信号,呈现出视频画面。而这一过程当中的每个步骤都可能会造成视频信息的损失,同时客户端显示设备能力也是千差万别,这也使得最终的显示画面很难保留视频创作者的最初创作意图所想要呈现的效果。

揭秘众多HDR及高刷屏手机幕后的功臣:Pixelworks!-芯智讯

那么怎么才能让手机屏幕要想呈现完美的HDR视频的效果呢?熊挺表示:“提升显示的效果需要通过端到端的方法,也就是从内容的制作开始,最终到手机显示屏,把最初创作的意图与手机显示屏的能力结合起来,才能达到最好的效果。”

因此,Pixelworks在硬件端的布局与手机厂商合作的同时,还深入到HDR及高帧率内容制作环节,并推出了全新的视频制作平台TrueCut,该平台可以使电影制作人和内容提供商能够充分利用当今电影、家庭娱乐及移动设备的屏幕的显示能力,同时确保内容在不同设备上播放实现一致性,从而真正实现跨设备的创作意图再现。特别值得一提的是, TrueCut 运动调控工具软件,也是业界第一个让电影制作人能够以影院级的微调方式消除运动模糊、抖动及优化帧率的解决方案。

据介绍,目前已有超过20,000小时的TrueCut格式内容,同时有9家OEM的超过150款现有机型支持TrueCut格式内容。

小结:

从去年到今年我们可以非常明显的看到,手机厂商们都在追逐HDR及高刷屏,力图为用户带来更好的显示体验效果。但正如前面所提到的,仅仅硬件支持HDR和高帧率是不够的,手机厂商还要针对手机SoC和屏幕进行大量的优化工作,同时还需要对应的HDR及高帧率内容,而目前这类内容仍是非常的匮乏。对于手机厂商来说,打通整个硬件和内容环节有非常大的挑战。而Pixelworks提供的独立显示芯片及显示和视频处理技术能够被众多游戏手机及旗舰手机所采用,也正说明了Pixelworks确实能够很好的帮助手机厂商们来解决这些问题。

作者:芯智讯-浪客剑