微软本周推出了一项新的人工智能（AI）功能，称其将有助于纠正模型的错误陈述。
据这家科技巨头称，新的“校正”功能将识别“AI 输出的不准确之处”并进行修复。
微软表示，所谓的 AI 幻觉将在“生成式 AI 应用的用户遇到它们之前”得到实时纠正，一位发言人称之为“一项全新的首创能力”。
该功能通过扫描并突出显示响应中不准确的部分来工作。然后，它可以生成关于该部分为何错误的响应，并使用生成式 AI 来校正该部分，以确保“重写的内容与相关数据源更好地对齐”，一位微软发言人表示。
它是微软 Azure AI 内容安全软件界面的一部分，现在也可以嵌入设备中。
为何 AI 会产生幻觉？
AI 模型在大量数据集上进行训练以进行预测，但它们也可能“产生幻觉”，这意味着它们会生成不正确或错误的陈述。这可能是由于训练数据不完整或有偏差。
海牙战略研究中心的战略分析师 Jesse Kommandeur 将其比作在没有完整食谱的情况下烤蛋糕——你根据以前的经验猜测什么可能有效。有时蛋糕做得很好，但其他时候则不然。
“AI 试图根据它从中学到的不完整信息（‘食谱’）‘烘焙’最终输出（如文本或决策），”Kommandeur 在一封电子邮件中说。
相关内容：
- 根据一项新研究，研究人员开发了防止 AI 产生幻觉的新方法
有许多备受瞩目的例子表明 AI 聊天机器人提供了虚假或误导性的答案，从律师在使用 AI 模型后提交虚假法律案件，到谷歌的 AI 摘要在今年早些时候提供了误导性和不准确的回答。
Vectara 公司去年的一项分析发现，根据工具的不同，AI 模型产生幻觉的时间在 3%到 27%之间。与此同时，非营利组织“国际民主报告”在欧洲选举前表示，最受欢迎的聊天机器人中没有一个对与选举相关的查询提供“可靠可信”的答案。
这个新工具能修复幻觉吗？
纽约大学斯特恩商学院和数据科学中心的教授 Vasant Dhar 表示：“生成式 AI 并没有真正的反思、规划和思考。它只是对输入依次做出响应……我们已经看到了其中的局限性。”
他补充说：“说（新的校正功能）会减少幻觉是一回事。它可能会，但在当前架构下，要完全消除它们几乎是不可能的。”
Dhar 补充说，理想情况下，一家公司应该能够声称它减少了一定比例的幻觉。
相关内容：
- 谷歌就微软云许可实践向欧盟投诉
“这需要大量关于已知幻觉的数据以及测试，以查看这种小的提示工程方法是否真的减少了它们。这实际上是一个非常艰巨的任务，这就是为什么他们没有对减少幻觉的程度做出任何定量声明。”
Kommandeur 查看了微软确认发布的关于校正功能的一篇论文，并表示虽然它“看起来很有前途，并选择了一种我以前从未见过的方法，但该技术可能仍在发展中，可能存在局限性”。
“渐进式改进”
微软表示，幻觉在诸如医学等高风险领域以及更广泛的部署中阻碍了 AI 模型。
Dhar 说：“包括谷歌搜索在内的所有这些技术，这些公司只是在产品上不断进行渐进式改进。”
他说：“一旦主要产品准备就绪，这就是一种模式，然后你不断改进它。”
相关内容：
- 新研究警告称，随着 AI 工具在 AI 生成的内容上进行训练，存在“模型崩溃”的风险
“从我的角度来看，从长远来看，如果模型不断产生幻觉，对 AI 的投资可能会成为一种负担，特别是如果这些错误不断导致错误信息、有缺陷的决策等，”Kommandeur 说。
“然而，在短期内，我认为（大型语言模型）LLMs 在效率方面为很多人的日常生活增加了很多价值，以至于幻觉是我们似乎认为理所当然的事情，”他说。
