研究人员发现,由OpenAI开发的Whisper AI转录工具在医疗转录中有时会生成虚构的句子。这款名为Whisper的AI转录工具被数千名临床医生和卫生系统使用,据称已转录了约700万次医疗对话。尽管它能够准确总结许多医患交流,但康奈尔大学和华盛顿大学的研究人员发现,该工具在某些情况下会完全生成虚构的句子,有时甚至添加无关或无意义的短语。
这项研究于6月在巴西举行的计算机械协会FAccT会议上提出,指出Whisper在大约1%的转录中出现错误,经常在对话中的沉默期间产生“幻觉”——即虚构的陈述。这些不准确性在包含失语症患者(一种导致频繁停顿的语言障碍)的音频样本中尤为常见。在一个案例中,Whisper插入了一些更典型的YouTube视频短语,如“谢谢观看!”
Nabla公司意识到这一问题,表示正在努力解决这些“幻觉”。对此,OpenAI强调其致力于减少此类错误,尤其是在像医疗这样的高风险环境中。OpenAI的一位发言人指出,Whisper的使用政策不鼓励其在关键决策情境中的应用,并且针对开源使用的指导建议避免在高风险领域部署。
该研究的结果突显了在医疗等敏感环境中应用AI工具的复杂性,因为精确的沟通至关重要。鉴于Whisper已在40个医疗系统中使用,这一问题引发了关于AI转录工具在医疗环境中的适用性及其部署所需持续监督的广泛讨论。
(全文结束)


