往常，关于听力有障碍的群体来说，听不到的声音，能够触摸到了。

“触摸”听不到的言语，是由东京大学和索尼计算机科学研讨所（CSL）共同研发的 AI 系统「Derma」完成的。有了 Derma 系统，只需在喉咙四周的皮肤上贴上传感器，应用喉咙和下颚的皮肤震动，就能将口形转化为语音。

可“触摸”的言语

依据病症的严重水平，现阶段治疗听力障碍的主流手腕包括：

• 药物治疗：经过静脉点滴或部分滴药（如激素、抗菌素、抗病毒药物等）衰退炎症，使听力尽快恢复；

• 手术治疗：主要针对外、中耳畸形、各种压榨咽鼓管疾病、耳外伤等停止手术；

• 仪器辅助：如助听器（听力损失水平≤80dB）、人工耳蜗（听力损失水平>80dB）。

其中，人工耳蜗植入是当前让重度、极重度耳聋患者恢复听力的独一有效方法。

早在 1957 年，法国科学家初次将电极植入一位全聋病人的耳蜗内，使该患者感知到四周的环境音。直到上世纪 90 年代，人工耳蜗进入临床应用阶段，给极重度耳聋患者带来了“重生”。

实践上，人工耳蜗的开展离不开电子技术、计算机技术、语音学、电生理学、资料学、耳显微外科学的开展。在这些学科兴起、开展之前，针对听力障碍患者，科学家给出的应对措施是一种叫做 Tadoma 的触诊唇读法。望文生义，这种疗法是指——听力障碍患者经过用手指触摸说话者的嘴唇、下巴、脖颈处，读取说话者想表达的内容。

而上述日本团队研发 AI 系统 Derma 的灵感，最初正是源于 Tadoma。

经过机器学习将 Tadoma 自动化

该团队的设计其实就是将 Tadoma 疗法的过程经过机器学习自动化了。

就其原理而言，如下图所示，在喉咙周边的皮肤上贴上一个加速度/角速度传感器，获取无声发声时下颚、舌肌运动惹起的从下颚到喉咙的皮肤颤抖信息，采用深度学习停止剖析辨认，最终完成将无声语音转换为语音输入的无声语音交互（Silent Speech Interaction，SSI）。

该传感器可获取 12 维的皮肤运动信息，深度学习能够剖析、辨认 35 种发声类型。实验标明，辨认皮肤颤抖信息的精准度超越 94%。

值得一提的是，研讨团队锻炼模型用到了衔接时间分类（Connectionist Temporal Classification, CTC）。

实践上，在锻炼语音辨认器的过程中，受说话者语速等要素影响，将输入与输出对齐是一个难点。为处理这一问题，衔接时间分类就派上用场了。

就其外形而言，与现有的一些无声语音交互设备相比，这一设备体积小、重量轻、并不显眼。此外，这一系统耗电量低，不易遭到环境亮度等要素的影响，不会影响到佩戴者的正常生活，能够说是十分适用了。

另外研讨团队表示，经转换后的语音合成不只能够输入到具有语音辨认功用的数字设备（语音助手），同时也能协助有言语障碍的患者停止交流。

未来，该团队的研讨方向则是可穿戴电子设备和体内嵌入式计算集成。

基于 AI 的无声语音交互

近年来，无声语音交互范畴方兴未艾，当前产业和学界在该范畴的思绪主要有 2 条——经过感知气流辨认话语（气流采集）和经过感知肌肉运动的方式辨认话语（EMG 信号采集）。以下是该范畴开展的大致时间线：

• 2009 年，麻省理工学院感知交流组研发的触觉设备可以克制读唇语无法明晰辨认的障碍，本钱比人工耳蜗植动手术低几个数量级；

• 2016 年，牛津大学人工智能实验室、谷歌 DeepMind 和加拿大高等研讨院（CIFAR）结合开发了却合深度学习技术的唇读程序 LipNet；

• 2016 年，DeepMind 经 1 万小时的新闻视频锻炼，将 AI 唇读精确率提升至 46.8%；

• 2019 年，世界学问产权组织发布了微软申请的“无声语音输入”（Silent Voice Input）专利，丰厚了“机器听懂人话”的场景；

2020 年 3 月，浙江工业大学、中科院计算技术研讨所智能信息处置重点实验室及中国科学院大学共同提出了在部分特征层和全局序列层上引入互信息约束，加强口型特征与语音内容的关系，将计算机唇读精度提升至 84.41%。

实践上，无声语音辨认不只能够协助有听力、言语障碍的人群，也适用于包括灾祸现场、舱外探究、水下作业、工厂车间在内的场景。

不过，无声语音交互设备要想真正成为消费级产品，还需打磨。正如微软全球资深技术院士、微软云与人工智能事业部担任人黄学东博士曾表示：

公开的测试、已发表的学术文章，虽不能与理想完整割裂，但相比消费级产品与商业场景，仍需求不一样的评判规范。

关于索尼 CSL

正如上文所述，Derma 由东京大学和索尼 CSL 共同研发。

在中国人民大学出版社 2011 年出版的一本名为《索尼研讨所的运营哲学》的书中，索尼 CSL 董事长所谬误雄便讲述了索尼 CSL 的运营管理理念。所谬误雄写道，索尼 CSL 遵照“小即是美”的运营理念，坚持不扩展范围，因而降生了众多的“异类和天才”，同时也支持人才的“流通”。

索尼 CSL 成立于 1988 年，作为索尼公司的“创新工厂”，普遍关注计算机科学、生命科学、脑科学和经济学等多个范畴。当前索尼 CSL 的研讨方向包括「全球议程」（涵盖从能源到食品和医疗保健的问题）、「人类加强」（包括探究人类发明力和人机交互/集成的研讨）与「网络智能」（AI）。

2019 年 11 月，索尼宣布成立索尼 AI 部门，以“应用 AI 激起人类的想象力和发明力” 为任务，旨在推进 AI 技术的根底研发，而索尼 CSL 总裁兼 CEO Hiroaki Kitano 便是索尼 AI 的全球担任人。