对话式人工智能（AI）在医疗领域的应用与挑战

Conversational artificial intelligence (AI)

什么是“对话式人工智能（AI）”？

“对话式人工智能（AI）”指能够参与自然且类似人类对话的技术。这类技术包括高级聊天机器人、虚拟助手/代理以及“具身对话代理”（如虚拟化身）。著名例子包括OpenAI的ChatGPT、Google Gemini、Microsoft Copilot和Anthropic的Claude。

许多对话式AI工具利用生成式AI技术（创建新内容）进行对话，因此可以被视为生成式AI的一部分，同时也是对话式AI的代表。本资源的重点在于这些技术的对话式AI特性。这些AI技术不同于将患者对话转化为临床记录、摘要或信件的AI记录工具。RACGP为此类AI记录工具提供了单独的资源。

对话式AI工具通过海量互联网数据（包括文章、书籍等）进行训练。与依赖预定义规则和脚本响应用户的“简单”聊天机器人不同，“先进”的对话式AI机器人结合了大量数据与AI技术（如机器学习、自然语言处理和自动语音识别）。当前一代的对话式AI工具整合了生成式AI，这种技术本质上具有概率性（受随机性影响），可能导致不可预测的行为。这些创新使工具能够理解用户输入的意图，并随着时间推移“学习”用户行为。

毫无疑问，对话式AI可能会彻底改变部分医疗服务的交付方式。然而，全科医生（GPs）目前在实践中使用对话式AI时应极其谨慎。关于患者安全、隐私保护、数据安全及对临床结果的影响，仍存在许多未解问题。

对话式AI在全科医疗中的应用有哪些？

尽管支持对话式AI使用的相关研究滞后于其实际应用，但以下列出了一些可能的应用场景：

临床应用

• 回答患者关于诊断、处方药物潜在副作用的问题，或简化医学报告中的专业术语。
• 提供治疗/用药提醒和剂量说明。
• 提供语言翻译服务。
• 引导患者找到合适的资源。
• 帮助患者跟踪和监测血压、血糖或其他健康指标。
• 在咨询前对患者进行分诊。
• 准备医疗文档（如临床信函、临床记录和出院总结）。
• 提供临床决策支持，例如准备鉴别诊断列表、辅助诊断，以及优化临床决策支持（CDS）工具（用于检查和治疗选项）。
• 提出治疗方案和生活方式建议。

商业应用

• 自动化账单处理并分析账单数据用于商业用途。
• 提供预约安排平台并向患者发送提醒。
• 协助全科医疗企业主准备宣传材料。
• 收集和整理患者信息。

教育应用

• 总结医学文献并回答临床医生的专业问题。
• 模拟敏感和富有同理心的沟通方式，并提供如何向患者传达坏消息的支持。
• 为医学生和从业者定制个性化教育活动。

研究应用

• 简化科学写作的部分内容，例如生成文献综述。
• 高效分析大型数据集。
• 加速药物发现和开发。

在医疗中使用对话式AI可能存在的问题是什么？

由于涉及敏感健康数据的伦理和隐私问题，以及医疗产品的监管要求，AI在医疗领域的应用并不如其他领域广泛。在对话式AI能够安全且充分发挥潜力之前，仍有许多临床、隐私和工作流程问题需要解决。

临床问题

• 对话式AI工具可能会提供看似权威但经过审查后却含糊不清、误导甚至错误的回答。训练数据可能过时，而AI可能会产生“幻觉”，即输出看似可信或合理但实际上错误或无法验证的内容。在医疗环境中，这种不准确性显然会造成伤害风险。当这些工具在临床前/后或面向消费者的情境中使用时，还存在患者因错误建议改变行为或忽视医生意见而倾向于AI工具建议的风险。
• AI工具训练所用的数据本身存在偏见，导致某些患者群体在数据中代表性不足。这可能导致对话式AI提出不合适甚至歧视性的建议，依赖有害且不准确的刻板印象，或排斥和污名化已经处于边缘化和脆弱状态的个体。
• 对话式AI可能会传播有害的错误信息给医疗消费者，从而危及安全。
• AI推荐方法的不透明性使得用户难以追溯工具输出的来源，并独立评估工具用于得出结论的证据。
• 对话式AI在简单的临床任务上表现最佳。AI工具可能会在没有说明证据尚不明确或存在专业争议的情况下提供医疗建议。
• 某些对话式AI工具专为医疗用途设计（如Google的MedPaLM和Microsoft的BioGPT），但大多数工具为通用应用设计，未针对临床环境进行训练。这些通用工具训练所用的数据不一定是最新的或来自高质量来源（如医学研究）。如果AI在大量清洁数据（来自医学/药学学术文献和患者病历）上进行训练，其输出质量可能会提高。
• 如果用于协助诊断或治疗建议，这些工具需根据“软件作为医疗设备”法规获得TGA批准。

隐私、安全和法律问题

• 健康数据的敏感性为AI工具开发者和使用它们的临床医生带来了特殊挑战。网络安全事件可能导致患者保密性被破坏，并违反澳大利亚法律。全科医生绝不应将敏感或可识别数据输入对话式AI工具。
• 许多司法管辖区仍在努力应对AI工具监管的挑战。在澳大利亚，立法者仍在研究如何最好地减轻潜在危害。

工作流程和实践问题

• 尽管使用对话式AI可能节省时间，但由于需要全面检查其输出，这一优势可能会部分抵消。
• 当用于生成商业用途文本（如全科诊所网站上的患者信息）时，对话式AI工具在法律上可能被视为作品的作者，这会对版权法产生影响。
• 许多对话式AI工具尚未兼容或集成到临床信息系统中，因此无法轻松融入现有工作流程。
• 可能存在禁止在法律程序中使用AI生成报告的规定。

教育问题

• 在医学教育中，作弊和剽窃对公平评估构成明显威胁。一些对话式AI工具可能能够规避剽窃检测软件。

全科医生在决定是否使用对话式AI时需要考虑什么？

Ahpra在其文章[履行在医疗中使用人工智能时的专业义务](

• 全科医生最终负责提供安全和高质量的护理。在实践中使用AI工具之前，全科医生应始终检查AI输出及其服务条款（如信息管理/赔偿条款）。
• 全科医生应仅将对话式AI作为补充其他来源信息的资源，绝不能将其作为临床决策的唯一依据。
• 全科医生应在使用需要输入患者个人信息的AI工具时让患者参与决策，并在使用面向患者的AI工具时获得知情同意；例如，在摄入程序中使用对话式AI时。
• 在将对话式AI引入实践流程之前，全科医生应学习如何安全使用它，包括工具的风险和局限性以及数据存储的方式和位置。如果使用该工具，全科医生应在实践隐私政策中对其使用保持透明。
• 全科医生必须确保对话式AI工具的使用符合相关法律法规，以及任何可能影响、禁止或规范其使用的实践政策和职业责任保险要求。

此外，值得注意的是，专门为医务人员设计并供其使用的对话式AI工具可能比一般开放使用的工具提供更准确和可靠的信息。如果这些工具提供诊断或治疗建议，则应作为医疗设备在TGA注册。

(全文结束)