据美联社的Garance Burke和Hilke Schellmann报道，OpenAI声称其转录工具Whisper具有接近人类水平的稳健性和准确性。然而，该公司也警告不要在高风险领域使用这些工具。进一步的报道指出：
- Whisper存在一个主要缺陷：它容易生成不存在的文本或甚至整个句子。根据与十多位软件工程师、开发人员和学术研究人员的访谈，这些专家表示，一些虚构的文本（业内称为“幻觉”）可能包括种族评论、暴力言论甚至想象中的医疗治疗。
- 研究人员称，医院中使用的AI转录工具会编造从未说过的内容。一位研究人员发现，在10份AI转录的公共会议记录中有8份存在幻觉现象。其他人也报告了类似发现。
不存在的药物
这些问题在医疗保健领域的后果显而易见。例如，研究片段提到：“在一次转录中，Whisper发明了一种不存在的药物，称为‘超激活抗生素’。”因此，OpenAI警告不要在决策环境中使用其工具。但许多人似乎已经开始这样做。
Burke和Schellmann报道，OpenAI正在努力解决这一问题。然而，这种产生幻觉的倾向可能是其AI模型运行方式的一部分。例如，聊天机器人继续处理自己的数据会导致幻觉和模型崩溃。最近，六位AI研究人员的一份报告指出，大型语言模型（聊天机器人）无法进行形式推理。或许某些类型的思考根本无法机械化。
(全文结束)
