德克萨斯大学圣安东尼奥分校（UTSA）数据科学学院的研究人员正在使人工智能（AI）更可靠地回答医疗问题。他们的项目“通过因果整合个人病史问答减少大型语言模型的幻觉”于2024年通过数据科学学院（SDS）和开放云研究所赞助的合作种子基金计划获得了35,000美元的资助。
该研究团队由计算机科学助理教授杨柯领导，成员还包括信息系统和网络安全助理教授Anthony Rios以及管理科学和统计学助理教授张悦霞。三人均为SDS核心教员。
他们的工作重点在于减少AI幻觉，即AI自信地提供虚假或误导性信息的现象。大型语言模型（LLM），如ChatGPT，基于数据中的模式生成响应，但它们缺乏现实世界的理解。这意味着它们有时听起来很有说服力，但实际上却是完全错误的。当AI从有缺陷、过时或带有偏见的信息中学习时，这一问题会更加严重。
有些AI错误是无害的——例如将多伦多误认为加拿大的首都——但在医疗保健等领域，这些错误可能会非常严重。最近的一项哈佛研究发现，许多人更喜欢ChatGPT提供的医疗建议，而不是医生的建议，这凸显了在医学领域需要更可靠的人工智能。
不准确的AI生成的医疗建议可能导致误诊或错误的治疗建议。因此，提高准确性至关重要。
“我们发现，在高风险领域，尤其是医疗保健、金融和就业等领域，针对AI幻觉的研究还很少。”杨柯说。
“这项工作有可能增强人们对AI的信任，并鼓励人们将其用于各种重要应用。”
为了提高AI的准确性，UTSA研究人员正在寻找方法，让AI在生成响应之前获得更好的上下文信息。
“我们观察到，AI有时给出错误答案是因为它对医疗问题缺乏足够的背景信息。”杨柯说。“为了解决这个问题，我们提出提取已知的关于诊断和实践的知识，帮助AI更合乎逻辑地思考。然后，我们将这些信息结构化，以便另一个AI系统能够更有效地处理。”
该团队正在开发一种可以自我事实核查的AI模型。为此，他们创建了一个因果知识图谱（CKG），这是一种组织来自可信医疗资源信息的知名格式。这种结构有助于AI识别医疗概念之间的联系，从而提供更准确和可靠的答案。
通过将外部数据与用户的问题结合起来，该模型能够更好地理解用户问题的背景，使其答案更加准确。如果成功，该团队预计其模型将生成无幻觉的答案，即使在AI接受较少或没有先前训练的领域也是如此。
使用外部数据源的一个挑战是确保AI只提取每个问题最相关的上下文。为了解决这个问题，该团队还在开发一个系统，利用子图（即较小的目标数据部分）更有效地过滤信息。这些子图就像索引一样，帮助AI专注于最有用的信息，而不是搜索它学到的所有内容。
除了改进AI生成的医疗答案外，该团队还希望创建一个基准数据库——一个包含无幻觉问答对的集合，可以作为其他AI研究人员的标准。这个资源将作为一个测试工具，允许开发者根据验证数据评估AI模型，并在各种应用中提高整体性能。
“我们的项目有助于为研究人员创建开源工具，并开发新的AI解决方案，以提高高风险领域（如医疗保健）的可靠性。”杨柯说。
杨柯认为，这项研究的影响不仅限于医疗保健领域，还可以提高AI在各个领域的准确性。
“这项工作有可能增强人们对AI的信任，并鼓励人们将其用于各种重要应用。”她说。
通过减少幻觉并提高可靠性，UTSA研究人员正在使AI成为一种更安全、更值得信赖的工具，特别是在准确性至关重要的领域。
(全文结束)
