研究人员:AI驱动的医院转录工具编造了无人说过的内容Researchers: AI-powered hospital transcription tool invents things no one said

环球医讯 / AI与医疗健康来源:www.wusf.org美国 - 英语2024-11-02 18:05:00 - 阅读时长2分钟 - 664字
研究人员发现OpenAI的Whisper转录工具在医疗等行业中存在编造文本的问题,可能导致严重后果。
AI驱动转录工具OpenAIWhisper编造内容医疗转录“幻觉”准确性缺陷高风险领域
研究人员:AI驱动的医院转录工具编造了无人说过的内容

研究人员发现,OpenAI的Whisper工具在多个行业中用于翻译和转录采访时,容易编造大段文本。科技巨头OpenAI曾吹嘘其人工智能驱动的转录工具Whisper具有接近人类水平的鲁棒性和准确性。但据多位软件工程师、开发人员和学术研究人员的采访,Whisper存在一个重大缺陷:它容易编造大段文本或甚至整句内容。这些专家表示,一些编造的文本(业内称为“幻觉”)可能包括种族评论、暴力言论甚至想象中的医疗治疗。专家们认为,这些虚构内容存在问题,因为Whisper被广泛应用于全球多个行业,用于翻译和转录音频、生成流行消费技术中的文本以及创建视频字幕。更令人担忧的是,尽管OpenAI警告不应在高风险领域使用该工具,但许多医疗机构仍急于采用基于Whisper的工具来转录患者与医生的咨询。

问题的严重程度难以全面了解,但研究人员和工程师表示,在他们的工作中经常遇到Whisper的“幻觉”。例如,密歇根大学的一位研究员在研究公共会议时发现,他检查的每10个音频转录中有8个都存在“幻觉”,这在他开始尝试改进模型之前。一位机器学习工程师表示,他在分析的100多个小时的Whisper转录中,最初发现了约一半的“幻觉”。另一位开发者表示,他在用Whisper创建的26,000个转录中几乎每个都发现了“幻觉”。即使在录制良好、短小的音频样本中,这些问题仍然存在。计算机科学家最近的一项研究发现,在他们检查的13,000多个清晰音频片段中,有187个“幻觉”。研究人员表示,这一趋势将导致数百万次录音中出现数万个错误转录。


(全文结束)

大健康
大健康