微软本周推出了一项新的人工智能（AI）功能，称其将有助于纠正模型的错误陈述。
据这家科技巨头称，新的“纠错”功能将识别AI输出的不准确之处并进行修复。
微软表示，所谓的AI幻觉将在实时被纠正，“在生成式AI应用的用户遇到它们之前”，一位发言人称之为“新的首创能力”。
该功能通过扫描并突出显示响应中不准确的部分来工作。然后，它可以生成关于该部分为何错误的响应，并使用生成式AI来纠正该部分，以确保“重写的内容与相关数据源更好地对齐”，一位微软发言人表示。
它是微软Azure AI内容安全软件界面的一部分，现在也可以嵌入到设备中。
AI模型是在大量数据集上进行训练以进行预测的，但它们也会“产生幻觉”，这意味着它们会生成不正确或错误的陈述。这可能是由于训练数据不完整或有偏差。
海牙战略研究中心的战略分析师杰西·科曼德（Jesse Kommandeur）将其比作在没有完整食谱的情况下烤蛋糕——你根据以前的经验猜测什么可能有用。有时蛋糕做得很好，但有时却不是。
“AI试图根据它学到的不完整信息（‘食谱’）‘烘焙’最终输出（如文本或决策），”科曼德在一封电子邮件中说。
有许多备受瞩目的AI聊天机器人提供错误或误导性答案的例子，从律师使用AI模型提交虚假法律案件到谷歌的AI摘要今年早些时候提供误导和不准确的响应。
Vectara公司去年的一项分析发现，AI模型产生幻觉的比例在3%至27%之间，具体取决于工具。同时，非营利组织“国际民主报告”（Democracy Reporting International）在欧洲选举前表示，最受欢迎的聊天机器人都没有为与选举相关的查询提供“可靠可信”的答案。
纽约大学斯特恩商学院和数据科学中心的教授瓦桑特·达尔（Vasant Dhar）表示，生成式AI“实际上并不会反思、计划和思考。它只是依次响应输入……我们已经看到了这种局限性。”
“说（新的纠错功能）将减少幻觉。它可能会，但在当前架构下，要完全消除它们几乎是不可能的，”他补充道。
达尔补充说，理想情况下，一家公司应该能够声称它减少了一定比例的幻觉。
“这需要大量关于已知幻觉的数据和测试，以查看这种小的提示工程方法是否真的减少了它们。这实际上是一个非常艰巨的任务，这就是为什么他们没有对减少幻觉的程度做出任何定量声明。”
科曼德查看了微软确认发表的关于纠错功能的一篇论文，并表示虽然“看起来很有希望，并选择了一种我以前从未见过的方法，但这项技术可能仍在发展中，可能有其局限性”。
微软表示，幻觉阻碍了AI模型在高风险领域的应用，如医学，以及它们的更广泛部署。
“所有这些技术，包括谷歌搜索，都是这些公司只是在产品上不断进行渐进式改进的技术，”达尔说。
“一旦你有了主要产品，那么你就会不断改进它，”他说。
“从我的角度来看，从长远来看，如果模型不断产生幻觉，对AI的投资可能会成为一种负担，特别是如果这些错误不断导致错误信息、有缺陷的决策等，”科曼德说。
“然而，在短期内，我认为（大型语言模型）LLMs在效率方面为很多人的日常生活增加了很多价值，以至于幻觉是我们似乎认为理所当然的事情，”他说。
