声音可追踪头部的运动?Waves+英特尔RealSense技术现3D实感声场

坐在一台装有Waves威富思Nx技术以及内置英特尔实感SR300摄像头的PC前,记者拿出自带的耳机,听着听着,几乎要跳起来了,因为此时此刻听到的音景与平时完全不一样:声音不是像以前一样在脑上空传来,而是来自你的前方的多个位置,并且随着头部的摆动,声音传来的方向也会跟着变化,简单是神奇。

“我们就是要打造一种真实的音景:平时我们与人们交流,或者听音乐会的时候,声音不全部是来自头部上方,很多时候声音是从前方传来的。我们的Waves威富思Nx技术就是要还原这种真实世界的感觉,我们称之为3D音景。”Waves亚太区市场总监Carrie Wang解释道,“配合英特尔实感SR300摄像头对用户的头部位置进行追踪,然后定位用户耳机中的声音,以此匹配出我们在真实世界里听到的声音路径。为了呈现可以创造出真实、动态、多变的感官体验的细微差别,Waves威富思Nx技术通过追踪用户头部的实时动向,正确地将音源发声位置放入耳机的左右声道,从而模拟人耳在真实世界中听见的声音位置。在耳机上实现声临其境、360度的声音实时回放。”

作为格莱美技术大奖(Technical GRAMMY Award)的得主以及顶尖音频数字处理器插件的开发者,二十几年来,Waves威富思在心理声学信号处理算法的开发上一直走在前沿,该算法以人类听觉感知为基础,从根本上改善感知音质。“对空间声音的感知是一个复杂的现象。空间声音的感知结合了声波与房间或与空间的相互作用、我们头部和耳朵转动间的互相作用、我们中耳及内耳与听觉神经的反应,还有大脑对于声音状况的认知和解读。”Carrie Wang说道。

英特尔实感SR300摄像头运用包括1080p高清摄像头,红外摄像头以及红外镭射投影仪在内的一系列敏感元件捕捉3D画面,它不仅为Waves威富思Nx技术的体验提供了头部追踪的信息,还带来了重要的价值提升:每秒60帧的输出和完整的深度加工能有效提高头部位置信息更新的频率,减少延迟,从而更流畅地实时模拟音场。要知道,声音延迟对游戏或AR/VR这类音频的影响是很大的。此外,红外摄像头让设备在光线不足的情况下也能有强大的性能。在弱光条件下捕获影像,这对于其他摄像头来说是极具挑战性的,甚至是不可能做到的。Waves威富思Nx技术和英特尔 实感SR300摄像头的紧密结合成就了独特的耳机音频体验。

她介绍,“多年来,顶级消费电子品牌都有使用Waves威富思的技术来加强各种装置的音效设置。作为格莱美大奖得主(电影哈利波特、冰雪奇缘等等),他们是专业录音领域第一品牌,但是这并不妨碍他们对消费终端的支持,比如中国的oppo、vivo、联想、TCL等品牌手机都有与他们合作。“我们还会更多地支持智能手机与各种新兴的智能硬件,特别是像VR与AR等需要还原真实感的场景,这里我们有独特的优势。”她称:“有了Waves威富思Nx插件提供身临其境的3D音景,我们为VR与AR开拓了一个全新的技术世界。”

Carrie Wang表示,Waves威富思將Nx技术集成于耳机里,将扮演VR/AR创新的领头羊角色:通过智能传感器将你头部运动的信息传送到Nx算法系统中去,通过精确度极高且实时的头部运动追踪,Waves威富思Nx可以给3D音频体验带来无与伦比的真实感。目前,领先的耳机公司已正与Waves威富思合作,将为大家带来前所未有的全新的音频体验。

Waves威富思Nx技术细解

Waves威富思Nx技术是为了缩小聆听外部音源和耳机内部音源的效果差距而开发的。Nx技术的算法把所有上述缺失的线索插入到信号中,以此来让大脑相信声音是从空间内放置的虚拟扬声器传来的。但是,与其他相似的插件相比,Nx技术在这方面做得很细致很真实,仅添加空间景象需要,具有决定性的与总体性的线索,而不去修饰或渲染声音本身。为了将频率变化最小化,让所有变化被视为与空间相关而不是与均衡相关,Waves威富思对滤波器和环绕感作出了优化,以创造出一个透明的“录音室”。 通过调整声音以适应用户的头部运动,3D感知的创建不会对频率响应产生巨大的变化。同时,为了增强现场感,Nx技术允许用户键入个人头部及耳朵的尺寸信息,根据头部尺寸参数量身定制出临界延迟和频率改变,这样,用户无需使用额外的设备即可享受到个性化的逼真效果。

“我们正与很多中国公司发展战略性合作伙伴关系,这些中国公司都明白优质音效在用整体用户体验中的重要性。这些公司把消费者放在首位,它们了解创新的技术和品质优良的设计有多么重要。”Carrie Wang表示。

Waves Nx的专业版是为混音工程师和音效设计师设计的,在2016年1月的NAMM展会上正式推出。好消息是,下个月,Waves将会在在线商店推出消费者版本的Waves Nx产品,无论你是普通消费者、专业消费者、游戏玩家还是音乐爱好者,都可以购买。

稿源:电子工程专辑

0

付费内容

查看我的付费内容