英国研究人员将键盘打字声音转化为文本，准确率高达95%

8月9日消息，据外媒Theregister报道，英国研究人员声称已将笔记本电脑按键的声音翻译成对应的字母，在某些情况下准确率达到 95%。

报道称，研究人员通过键盘附近的iPhone记录按键的声音，然后将按键声音翻译成对应字母的准确率达95%。即便是远程记录也可以，只不过准确率会下降。比如通过 Zoom通话记录按键的准确度为93%、通过Skype通话记录按键的准确率仍为91.7%。

换句话说，这是一种侧信道攻击，具有相当高的准确性、最低的技术要求和无处不在的数据泄露点——麦克风。因为从我们的笔记本电脑到智能手机，甚至是智能手表，都有着麦克风。

更糟糕的是，研究人员在他们的论文中表示，他们已经在不依赖语言模型的情况下实现了侧信道攻击（ASCA）的准确性记录。相反，他们使用深度学习和自注意力转换器层来捕获打字声音并将其转换为数据以进行渗透。

为了将按键键声音转化为实际字母，研究人员记录了一个人在 16 英寸 2021 MacBook Pro 上打字，使用放置在 17 厘米外的手机录音记录，然后对声音进行处理以获得干净的击键声音，然后通过深度学习模型对这些数据进行分析，将它们输入卷积和注意力网络，以猜测按下了哪个特定的键或按键序列。

该团队在论文中表示：“在随机分布的类别中，使用最少的训练数据，手机和 Zoom 录音分类器都达到了最先进的准确性。” 研究人员指出，更令人担忧的是，“以这种方式进行记录不需要对受害者设备或网络进行任何渗透”。

正如侧信道攻击的常见情况一样，要想完全防止并不是那么容易。不过，研究人员表示，最简单的保护方法是改变打字风格。研究人员指出，能够依靠盲打的熟练用户更难被准确检测，因为在该技术很难实现的在高速按键下的准确识别，在这种情况下，单键识别率将从 64% 下降到 40%。

对于那些不想花时间学习成为熟练打字员的人，该团队推荐了一些额外的技术，例如输入密码时，使用具有多种大小写的随机密码。研究人员表示：“有多种方法成功地识别了 Shift 键的按下，但在所调查的文献中，没有一篇论文能够成功地在其他按键的声音中识别出 Shift 键的‘释放峰值’。”

换句话说，混合使用大写和小写字母仍然是一个好习惯。该团队还表示，那些担心声学侧信道攻击的人也可以使用第二个身份验证因素来防止有人窥探按键并窃取密码。

对于密码来说，这一切都可以解决，但是其他秘密信息（例如公司记录或客户信息）呢？为了解决这个问题，研究人员建议播放假的击键声音来掩盖真实的击键声音。

在虚拟键盘的咔哒声中工作肯定会惹恼每个人，这就是为什么研究人员建议只在录音后将声音添加到 Skype 和 Zoom 传输中，而不是让员工受到实时噪音制造者的影响。该团队发现，“这似乎具有最佳性能，并且对用户来说烦恼最少。”

目前正在进行的后续研究是使用新的录音源，例如智能扬声器、更好的击键隔离技术以及添加语言模型，以使他们的声音监听更加有效。

编辑：芯智讯-林子