脑波直接转语音，不开口每分钟“说”出150词：Nature发表脑机接口新突破

只要静静坐着，世界就能听到你的声音，这样的画面你可曾想象过？

是的，不必动手，也不必开口，只要你的脑波流转，AI就能以每分钟150个词的速度帮你说出心声。

Nature上最新发表了一篇论文，科学家们设计了一种新的可以将大脑信号转换成语言的装置，不需要劳动任何一块肌肉，深度学习就能直接读懂大脑，解码脑中所想，实现流畅交流。

△受渐冻症折磨的霍金后期依靠活动脸颊上的一块肌肉来打字

如何做到

研究团队来自加州大学旧金山分校，神经外科教授Dr. Edward Chang等人试图将大脑中的神经活动转换成语音，以造福因为神经损伤而失去交流能力的人。

说话这件事其实并没有想象中那么简单，看似只是动动嘴，事实上却是对声道咬合结构精准、快速的**度控制。

研究人员选择了深度学习方法。

为了进行试验，专家们招募了五名在医院接受癫痫治疗的志愿者。

神经解码的第一步是从高密度皮层活动中提取相关信号特征。志愿者们说了上百句话，而通过植入性大脑皮层电图（ECoG），研究人员可以跟踪控制语言和发音的大脑区域的活动，并将这些活动与志愿者说话时嘴唇、舌头、喉部和下颚的微妙运动联系起来，然后将这些运动学特征翻译成口语句子。

研究人员采用bLSTM（bidi-rectional long short-term memory）循环神经网络来破译ECoG信号表达的运动学表征。

接着用另外一个bLSTM解码先前破译的运动学特征中的声学特征。

声学特征是能从语音波形中提取的频谱特征，因此用解码后的信号就可以合成出语音波形。

在这个过程中，两个神经网络都会被投喂训练数据，以提高它们的解码性能。

对比志愿者说话的频谱图和大脑信号合成的频谱图，可以看到它们已经非常接近了。

研究者们让以英语为母语的人听了听合成的语音，结果表明，至少有70%的虚拟语言是可以被理解的。