AI 学会解码帕金森病患者的语音AI Learns to Decode Parkinsons Patients Speech

环球医讯 / AI与医疗健康来源:www.miragenews.com美国 - 英语2024-09-28 00:00:00 - 阅读时长4分钟 - 1927字
伊利诺伊大学厄巴纳-香槟分校的研究团队通过大量帕金森病患者的语音数据训练自动语音识别系统,显著提高了其对这些患者语音的识别准确性。
AI帕金森病语音识别言语障碍语音无障碍项目构音障碍自动语音识别器《语音语言和听力研究杂志》
AI 学会解码帕金森病患者的语音

当马克·哈泽加瓦-约翰逊(Mark Hasegawa-Johnson)梳理他最新项目的数据时,意外地发现了一份制作佛罗伦萨煎蛋的食谱。他说:“筛选数百小时的录音资料,总会发现一两处宝藏。”

哈泽加瓦-约翰逊领导了“语音无障碍项目”(Speech Accessibility Project),这是伊利诺伊大学厄巴纳-香槟分校的一项倡议,旨在使语音识别设备对有言语障碍的人群更加有用。

在该项目的首篇已发表研究中,研究人员让一个自动语音识别器听取了151小时(几乎六天半)来自患有帕金森病相关言语障碍的人的录音。他们的模型在转录类似的新数据集时,比未接触过帕金森病患者语音的对照模型准确率高出了30%。这项研究发表在《语音、语言和听力研究杂志》上。该研究使用的语音录音资料免费提供给研究人员、非营利组织和希望改进其语音识别设备的公司。

“我们的结果表明,一个大型的非典型语音数据库可以显著提高残疾人的语音技术。”哈泽加瓦-约翰逊说,他是伊利诺伊大学电气与计算机工程系教授,也是该校贝克曼高级科学技术研究所(Beckman Institute for Advanced Science and Technology)的研究员,该项目就设在这里。“我期待看到其他组织如何利用这些数据使语音识别设备更具包容性。”

智能手机和虚拟助手等机器使用自动语音识别(ASR)从发声中提取意义,使人们能够播放播放列表、免提发送消息、无缝参与虚拟会议并与亲朋好友清楚地沟通。然而,语音识别技术并不适用于所有人,特别是那些因帕金森病等神经运动障碍而出现一系列紧张、含糊或不协调的语音模式(统称为构音障碍)的人。

“不幸的是,这意味着最需要语音控制设备的人可能在使用它们时遇到最大的困难。”哈泽加瓦-约翰逊说。

“我们从现有研究中知道,如果你用某人的声音训练ASR,它将开始更准确地理解他们。我们问:能否通过让自动语音识别器接触一小群具有类似语音模式的人来理解帕金森病患者的构音障碍?”

哈泽加瓦-约翰逊和他的同事们招募了约250名患有不同程度帕金森病相关构音障碍的成年人。在加入研究之前,潜在参与者与一位言语病理学家会面,评估其资格。

“许多长期与交流障碍斗争的人,尤其是进行性障碍,可能会退出日常交流。”团队中的言语病理学家克拉里昂·门德斯(Clarion Mendes)说。“他们可能会越来越少地分享自己独特的想法、需求和想法,认为自己的交流已经太受影响,无法进行有意义的对话。”

“这些正是我们要找的人。”她说。

选定的参与者使用个人电脑和智能手机提交语音录音。他们按照自己的节奏工作,可选择由护理人员协助,重复常用的语音命令,如“设置闹钟”,朗读小说段落,并对开放式提示发表意见,如“请解释为四个人做早餐的步骤。”

在回应后者时,一位参与者详细列出了制作佛罗伦萨煎蛋的步骤——包括荷兰酱的制作方法,而另一位则务实建议点外卖。

“许多参与者表示,参与过程不仅令人愉快,还让他们重新获得了与家人沟通的信心。”门德斯说。“这个项目为许多参与者及其亲人带来了希望、兴奋和活力——这些都是独特的品质。”

她表示,团队咨询了帕金森病专家和社区成员,开发了与参与者生活相关的内容。提示既具体又自发:例如,训练语音算法识别药物名称可能帮助最终用户与药房沟通,而随意的对话启动器则模仿日常闲聊的节奏。

“我们告诉参与者:我们知道,通过全力以赴,你们可以使自己的语音更清晰,但你们可能已经厌倦了为了别人的理解而努力。尽量放松,像与家人坐在沙发上聊天一样交流。”门德斯说。

为了评估语音算法的听觉和学习能力,研究人员将样本分为三组。第一组190名参与者(151小时录音)用于训练模型。随着模型性能的提高,研究人员通过引入第二组较小的录音样本确认模型确实在学习(而不仅仅是记忆参与者的回应)。当模型在第二组达到最佳性能时,研究人员用测试组对其进行了挑战。

研究团队成员平均为每位参与者手动转录了400条录音,以检查模型的工作效果。

他们发现,在听取训练组后,ASR系统在转录音频测试组时的词错误率为23.69%。相比之下,经过正常人语音样本训练的系统在测试组的词错误率为36.3%,准确率低了大约30%。测试组几乎所有个体的错误率也都有所下降。即使是那些不太典型的帕金森病语音,如异常快速的说话或口吃,也有所改善。

“看到如此显著的好处,我感到非常兴奋。”哈泽加瓦-约翰逊说。

他还补充道,参与者的反馈进一步增强了他的热情:“我与一位对这项技术未来感兴趣的参与者交谈过。这就是这个项目最美好的地方:看到人们对智能音箱和手机能够理解他们这一可能性感到兴奋。这正是我们努力的目标。”


(全文结束)

大健康
大健康