专家对OpenAI的Whisper工具在音频转录中生成虚假文本的问题表示担忧，呼吁加强联邦监管，因为这些错误可能在关键应用中带来风险。据美联社报道，软件工程师、开发人员和学术研究人员对OpenAI的Whisper工具产生的转录错误表示严重关切。
ð¨ 用于医院的人工智能工具编造虚假信息，包括“想象中的治疗”等！
OpenAI的转录工具Whisper经常产生幻觉，即在医疗记录中创建虚假的短语或句子，如添加种族评论或甚至想象中的治疗。即使OpenAI…… pic.twitter.com/2dAFR7qumf
— Mario Nawfal (@MarioNawfal) 2024年10月26日
虽然生成式人工智能中的幻觉问题对于像ChatGPT这样的LLM驱动的聊天机器人来说是众所周知的挑战，但令人惊讶的是，这个问题也影响到了转录工具。
关于Whisper转录错误的担忧
尽管开发者预计转录工具会有一些错误，但工程师和研究人员发现，Whisper的幻觉频率高于任何其他人工智能工具。密歇根大学的一项研究发现，在十个转录中有八个存在幻觉。一位机器学习工程师在他分析的100小时录音中发现了幻觉，而另一位开发者在近26,000个转录中几乎都检测到了幻觉。此外，一项研究在超过13,000个清晰的音频片段中发现了187个幻觉，可能导致数千个错误的转录。专家告诉美联社，Whisper转录中的一些虚构文本包括种族评论、暴力言论，甚至想象中的医疗治疗。
康奈尔大学和弗吉尼亚大学的研究人员还分析了TalkBank中的数千个片段，发现近40%的幻觉是有害的，因为它们误解或曲解了说话者的意思。专家警告说，鉴于Whisper在翻译和转录采访、生成消费技术中的文本以及创建视频字幕方面的广泛应用，这些错误尤其令人担忧。该工具还用于为聋人和听力障碍者提供字幕，这一群体特别容易受到错误转录的影响。此外，专家们担心医疗中心迅速采用基于Whisper的工具来转录患者咨询，尽管OpenAI警告不要在高风险领域使用这些工具。
专家呼吁加强对Whisper幻觉问题的监管
Whisper被集成到OpenAI的ChatGPT中，并出现在Oracle和Microsoft的云平台中。它服务于成千上万的公司进行转录和翻译。最近，HuggingFace上的一个版本的Whisper下载量超过了420万次。超过30,000名临床医生和40个卫生系统，包括曼卡托诊所和洛杉矶儿童医院，使用由Nabla（一家在法国和美国设有办事处的公司）开发的基于Whisper的工具。Nabla报告称，该工具已转录了约700万次医疗访问。
高频率的幻觉导致专家和前OpenAI员工呼吁联邦人工智能监管，并敦促OpenAI解决这一缺陷。OpenAI的一位发言人表示，该公司正在探索减少幻觉的方法，并重视研究人员的发现以进行模型更新。他们还建议不要在决策环境中使用Whisper，因为在这些环境中准确性缺陷可能导致重大错误。
(全文结束)
