生成式人工智能已显示出增强数字患者参与的潜力，但与所有技术创新一样，医疗专业人员也需要避免一些陷阱以确保最大效益。
目前，生成式人工智能在自动化低级别医患沟通方面证明是有用的。聊天机器人、在线症状检查器、呼叫中心自动化和患者门户附加组件使患者更容易与医疗系统连接，而不一定需要医疗提供者的时间。随着患者激活度和临床医生的职业倦怠增加，这一点至关重要。
但数字转型并非一帆风顺。医疗错误信息、算法偏差、透明度差、临床医生参与度低以及可能加深现有的数字鸿沟等风险迫在眉睫。当医疗专业人员考虑为患者参与部署生成式人工智能时，他们还必须了解这些技术的潜在陷阱。
- 医疗错误信息、不准确
患者向生成式人工智能聊天机器人提问时，可能无法获得准确的健康信息，这取决于用于训练机器人的数据。往好了说，这意味着患者可能得到过时的信息；往坏了说，这可能意味着他们得到医疗错误信息。
某些生成式人工智能工具可能是根据美国预防服务工作组更新推荐的预防保健指南之前的信息进行训练的。在这些情况下，患者可能会得到关于接受特定预防性筛查的过时信息，这可能会影响患者获得护理的机会。
如果算法是基于医疗错误信息进行训练的，其下游影响则更糟。例如，基于某些疫苗安全性和有效性的虚假声明训练的生成式人工智能可能会延续这种信息，并助长疫苗犹豫。
患者自己已经意识到了这些风险。
在 2023 年 12 月沃尔特斯·克鲁维尔健康对 1000 名成年医疗保健用户的调查中，49%的人表示他们担心生成式人工智能会产生虚假的医疗信息。另有 86%的人表示，生成式人工智能的一个问题是不知道其训练所依据的信息来自何处或如何验证。同时，82%的人指出，在没有过滤或审查的互联网搜索上训练生成式人工智能可能会有问题。
患者或其提供者并不总是能够审查生成式人工智能或知道工具的算法是如何训练的。然而，临床医生可以鼓励患者通过自己的研究来审查所提供的信息，并与他们的提供者讨论在线研究和潜在的建议。
一些人工智能工具正在促进信息透明度，包括告知用户系统的最后一次信息更新时间以及从生成式人工智能聊天机器人获取医疗建议的风险。
- 算法偏差
也许人工智能最大的挑战之一是算法偏差。几乎所有的人工智能都包含算法偏差，这已不是什么秘密。为患者参与部署人工智能，包括患者信息搜索甚至对不同干预措施的人群进行风险分层，可能会延续这些偏差。
例如，一个有偏差的算法可能会不恰当地根据种族而不是临床需求将患者分为亚组。2023 年 5 月在《PLOS 全球公共卫生》上的一份报告发现，用于筛查和预测 2 型糖尿病的人工智能算法会因种族导致糖尿病风险的高估和低估。基于种族的不准确性的后果可能包括患者得不到足够的预防护理和患者参与度降低。
同样，从生成式人工智能聊天机器人发出的任何医疗建议都可能受到算法偏差的影响。
医院和卫生系统的 IT 团队需要持续监测他们使用的算法是否存在偏差。此外，在训练人工智能模型时使用多样化的数据集可能有助于规避与算法偏差相关的挑战。
- 缺乏透明度
医疗保健取决于患者的信任，而目前患者对人工智能的信任度约为 50%。
在生成式人工智能中建立患者信任需要透明度，特别是关于临床医生如何使用这些工具。然而，在雅典娜健康/戴纳塔的一项民意调查中，约有一半的受访者表示他们实际上不知道该技术在医疗保健中的部署方式。
为了进一步建立患者对生成式人工智能的信任，行业领导者可以从透明地说明他们如何使用该技术开始。
披露使用生成式人工智能对患者进行风险分层和分诊、补充聊天机器人和症状检查器以及自动化呼叫中心，可能会在帮助患者更好地理解并最终信任这些工具方面发挥很大作用。目前，该行业还在就患者门户消息中使用生成式人工智能的披露进行辩论。
- 临床医生监督有限
也许生成式人工智能在患者参与方面最有前途的用例之一是该工具对患者门户消息的响应能力。
研究表明，像 ChatGPT 这样的工具可以准确回答患者的问题，并考虑到不同的健康素养水平。
同时，其他报告表明，人工智能驱动的聊天机器人甚至可以与患者进行比临床医生更具同理心的互动。这主要是因为临床医生在回答患者门户消息时通常没有时间表达同理心，而在人工智能中，同理心的反应是自动化的。
然而，人工智能生成的患者门户响应是有风险的。如上所述，患者还不完全信任聊天机器人，透明度也可能是个问题。使用生成式人工智能和聊天机器人来减少患者门户收件箱的医疗保健提供者应该考虑向患者披露使用这些工具的利弊。
此外，患者信任不是唯一的问题。马萨诸塞州综合医院布里格姆的一组研究人员表示，由于生成式人工智能工具有可能兜售医疗错误信息甚至提供无效的医疗建议，医疗保健提供者需要在发送消息回复之前进行审查。
虽然在使用生成式人工智能管理患者门户收件箱时进行人工审查听起来像是良好的临床实践，但这确实增加了一些质量保证的复杂性。一方面，如果提供者已经在审查消息，那么不清楚生成式人工智能是否真的为提供者节省了时间。
根据 2024 年 3 月加州大学圣地亚哥分校健康中心的一份报告，临床医生表示嵌入患者门户消息中的生成式人工智能不一定为他们节省时间，但确实减轻了他们的认知负担。相反，梅奥诊所的一项研究表明，类似的技术确实为护士节省了时间。
无论对临床医生是否有潜在的时间节省，医院和卫生系统都很难监测临床医生是否实际上在审查使用生成式人工智能发送的材料。
- 加深数字鸿沟
与医疗保健的其他技术创新一样，生成式人工智能存在加深现有数字鸿沟的风险。
数字鸿沟是指那些能够访问技术和拥有使用这些技术的数字素养的人与那些没有的人之间的差距。正如在连接健康技术方面存在数字鸿沟一样，生成式人工智能也伴随着数字鸿沟的风险。
在医疗保健领域的人工智能方面已经有数字鸿沟的迹象。在雅典娜健康/戴纳塔的民意调查中，患者对生成式人工智能的信任和理解因代际而异，年轻患者比老年患者更有可能信任和理解该技术。例如，虽然 32%的千禧一代表示他们信任医疗保健中的生成式人工智能，但只有 12%的婴儿潮一代表示相同。
该调查还补充说，对生成式人工智能在医疗保健中的潜力的信任也因社会经济状况而异。
高收入受访者比低收入患者更有可能表示他们同意人工智能可以帮助解决医疗保健的最大问题。这是因为高收入患者更有可能获得数字技术，并拥有使用这些技术所需的数字健康素养。
确保生成式人工智能不会加深数字鸿沟将需要医疗保健专业人员继续与患者讨论该技术，并让所有患者接触这些工具。
对谁可能使用生成式人工智能做出假设将很快成为一个自我实现的预言。相反，医疗保健专业人员应该与所有患者讨论这些技术，并在必要时为患者提供使用这些工具的教育和帮助。
通过与所有患者讨论生成式人工智能，医疗保健专业人员还可以减轻这些工具的其他潜在陷阱，包括患者对医疗错误信息或透明度的担忧。
尽管生成式人工智能在增强患者参与方面有希望，但如果没有围绕这些潜在陷阱的保障措施，该技术可能会进一步使医疗保健的数字格局复杂化。
Sara Heath 自 2015 年以来一直报道与患者参与和健康公平相关的新闻。
