即使投入了数十亿美元，OpenAI的最新AI模型仍然会犯一些愚蠢的错误：例如，它仍然无法可靠地计算单词“strawberry”中字母“r”的出现次数。虽然“幻觉”这个词被AI公司用来形容其聊天机器人编造的错误信息，在学生作业中出现错误可能不是什么大问题，但在医疗建议方面，风险要高得多。
一个名为MyChart的通讯平台每天处理着成千上万条医生与患者之间的消息，该公司最近增加了一项新功能，该功能可以自动为患者的问题草拟回复，代替医生和助理进行回复。据《纽约时报》报道，大约有15,000名医生已经在使用这项功能，尽管存在AI引入潜在危险错误的可能性。
北卡罗来纳大学健康家庭医学医生Vinay Reddy告诉《纽约时报》，AI生成的一条草拟消息向他的患者保证她已经接种了乙型肝炎疫苗，尽管AI从未访问过她的疫苗接种记录。更糟糕的是，新的MyChart工具并不需要披露某条回复是由AI撰写的，这几乎不可能让患者意识到他们得到的医疗建议是由算法提供的。
该工具依赖于GPT-4的一个版本，这是OpenAI的大型语言模型，也是ChatGPT的幕后支持者。该工具从包括医疗记录和药物处方在内的材料中提取数据。该工具甚至试图模拟医生的“声音”，使其更加隐秘。
生物伦理研究员Athmeya Jayaram告诉《纽约时报》：“销售宣传声称，这项技术是为了节省他们的时间，让他们有更多时间与患者交谈。在这种情况下，他们试图通过生成式AI节省与患者交谈的时间。”
批评者担心，尽管医疗专业人员应该审查这些草拟回复，但AI可能会引入错误，这些错误可能会漏网。已经有充分的证据表明这种情况已经在发生。7月份的一项研究发现，在MyChart工具生成的116条AI草拟消息中，有7条出现了“幻觉”。
虽然这个比例听起来不高，但即使是单个错误也可能导致灾难性的后果。另一项研究发现，当GPT-4被要求回复患者消息时，它反复出现错误。
有些患者可能永远不知道自己得到的建议来自AI。目前没有联邦规定要求标记AI生成的消息。
Jayaram告诉《纽约时报》：“当你读到医生的笔记时，你会用医生的声音来读。如果患者知道他们与医生交流的消息实际上是AI生成的，我认为他们会感到理所当然地背叛。”
(全文结束)
