研究人员:AI驱动的医院转录工具编造了无人说过的内容Researchers: AI-powered hospital transcription tool invents things no one said

环球医讯 / AI与医疗健康来源:health.wusf.usf.edu美国 - 英语2024-10-29 09:00:00 - 阅读时长2分钟 - 681字
OpenAI的Whisper工具在多个行业中被广泛使用,但存在编造文本的问题,尤其是在医疗领域的应用中引发了严重关切。
AI驱动转录工具OpenAIWhisper编造内容医疗机构患者与医生对话转录幻觉错误转录
研究人员:AI驱动的医院转录工具编造了无人说过的内容

超过十几位计算机科学家和软件开发人员表示,OpenAI的Whisper工具在用于翻译和转录音频采访等任务时,容易编造大段文本。这家科技巨头曾吹嘘其人工智能驱动的转录工具Whisper具有接近人类水平的稳健性和准确性。

然而,Whisper有一个重大缺陷:它容易编造大段文本甚至整个句子。根据对十几位软件工程师、开发者和学术研究人员的采访,这些编造的文本(在业内被称为“幻觉”)可能包括种族评论、暴力言论甚至虚构的医疗治疗。专家们表示,这种编造内容存在问题,因为Whisper被广泛应用于全球多个行业,用于翻译和转录音频采访、生成流行消费技术中的文本以及为视频创建字幕。

更令人担忧的是,尽管OpenAI警告不应在高风险领域使用该工具,但许多医疗机构仍在急于采用基于Whisper的工具来转录患者与医生的咨询对话。问题的严重程度难以量化,但研究人员和工程师表示,他们在工作中经常遇到Whisper的“幻觉”。例如,密歇根大学的一位研究员在研究公共会议时发现,在他检查的每10个音频转录中有8个存在“幻觉”,在他开始尝试改进模型之前。

一位机器学习工程师最初在他的分析中发现,在超过100小时的Whisper转录音频中,大约有一半存在“幻觉”。另一位开发者表示,在他用Whisper创建的26,000份转录中,几乎每一项都存在“幻觉”。

即使在录制良好、短小的音频样本中,这些问题依然存在。最近的一项计算机科学研究发现,在他们检查的13,000多个清晰音频片段中,有187个存在“幻觉”。研究人员表示,这一趋势将导致数百万次录音中出现数万次错误转录。


(全文结束)

大健康
大健康