人工智能的一个潜在应用领域是医学，新技术可以帮助医生，例如在骨折检测方面。医生也在使用人工智能来总结与患者的会议。其中一项技术是OpenAI的Whisper，该技术用于语音识别和转录。然而，《连线》杂志报道，人工智能在医学中的使用也有负面影响。
Nabla在其医疗转录工具中使用了Whisper，据ABC新闻的一项研究，该工具已经转录了超过700万次医疗对话。这一工具被30,000多名临床医生、医生、研究人员和40个医疗系统使用。负面后果是，OpenAI的人工智能有时会完全编造句子并将其添加到会议摘要中。
来自康奈尔大学、华盛顿大学和其他大学的一组研究人员发现，OpenAI的Whisper在大约1%的转录中会出现“幻觉”。人工智能会在录音的静默期间编造完整的句子，有时甚至带有攻击性或无意义的短语。
康奈尔大学的研究员Allison Koenecke发布了这些“幻觉”的例子：
伤害涉及暴力行为，包括对发言者言论的错误表述，这些言论可能成为正式记录的一部分（例如在法庭审判中）；我们展示了三个子类别的例子：身体暴力、性暗示和人口统计学刻板印象（4/14） pic.twitter.com/zhsKxI2qNs
— Allison Koenecke (@allisonkoe) 2024年6月3日
OpenAI的代表Taya Christianson表示：“我们非常重视这个问题，并不断努力改进，包括减少幻觉。对于通过我们的API平台使用Whisper，我们的使用政策禁止在某些高风险决策环境中使用，我们的开源使用模型卡也包括不建议在高风险领域使用的建议。我们感谢研究人员分享他们的发现。”
(全文结束)
