当生成式AI成为从症状检查到情感支持等一切事务的首要选择时，它在医疗保健领域的作用正受到更加严格的审视。
聊天机器人可以使健康信息变得易于获取且无评判性，但专家警告说，它们自信的回答可能掩盖了严重的局限性。
最近一项发表在《BMJ Open》上的研究加剧了对生成式AI在公共卫生领域作用的审视。研究人员发现，大约一半的聊天机器人对循证医学问题的回答是"部分"或"高度"有问题的，通常是因为它们不完整、不准确或缺乏适当的细微差别。
尽管这类工具承诺使健康信息获取更加民主化，但它们的局限性引发了紧迫的担忧——特别是对弱势群体而言——并突显了临床医生主导的医疗的持久必要性。
对Mediclinic Morningside诊所的全科医生(GP)Jess Morris博士来说，问题不在于AI是否在医疗保健中有一席之地，而在于它如何被使用。
"AI在医疗保健领域具有巨大潜力，"他强调，"但它的使用，特别是由没有医疗指导的患者使用，伴随着真正的风险。"
患者在AI建议时代的风险
最直接的担忧在于个人如何解读和依据AI生成的健康信息采取行动。与临床医生不同，聊天机器人无法收集完整的临床病史、进行体格检查、解读非语言线索或在特定背景下评估风险。
相反，它们基于数据中的模式生成回应，这可能创造出危险的权威幻觉。答案通常被自信地呈现，即使它们是错误的或不完整的。
Morris博士将此确定为最令人担忧的风险之一。患者可能会依赖"可能不准确、不完整或不符合其特定情况"的信息，他建议道。这可能导致"不当的自我诊断、延迟专业医疗或有害的治疗决定。"
即使是看似直接的健康指标，如血压、胆固醇、BMI或体重，在没有专业指导的情况下也可能被误解。
单独来看，读数或数字可能看起来令人放心或令人担忧，而实际上其意义取决于多种因素。这些因素包括年龄、病史、共病情况、药物使用、家族风险、症状和更广泛的临床背景。
AI可能提供一般性解释，但它无法可靠地确定结果对特定患者的意义。
强化有害模式
这些风险对未成年人和经历心理健康挑战的人群来说更为放大。证据越来越多地表明，AI系统可能会无意中强化有害行为或扭曲思维，特别是在饮食障碍、自我形象、抑郁和自杀意念等领域，其中微妙的线索在临床上具有重要意义。
HPCSA(南非健康专业委员会)注册咨询师、南非心理学会(PsySSA)成员以及PsySSA人工智能部门(AID)执行成员Muhammad Coovadia表示，青少年转向聊天机器人是因为他们将其视为一个安全空间。"他们会输入个人故事和信息以获取回应，"他说。
但是，他警告说，AI通常被设计为保持用户参与对话，而不一定提供最具临床适当性的干预措施。
这很重要，因为咨询不仅仅是接受或确认。"咨询也是关于改变事物，"Coovadia解释道。
"聊天机器人可能会反映或验证用户的叙述，而训练有素的咨询师或心理学家则能够挑战有害假设，提出有针对性的问题，并帮助将人的视角转向积极方向。"
用户主导对话的局限
另一个挑战是聊天机器人回应在很大程度上取决于用户选择披露的内容。"不仅仅是聊天机器人给你什么，"Coovadia说，"还有你给聊天机器人的内容。"
如果用户提供有限、不准确或情绪扭曲的信息，AI的回应将受到该输入的限制。
在心理健康背景下，抑郁的人可能会将对话引向他们已经固着的想法或信念。
相比之下，在治疗中，从业者受过训练，会提出人们可能不会自己问的问题。
Coovadia指出，在治疗过程中，专业人士可能会探索保护因素，例如什么让这个人保持动力、存在什么支持系统（或已建立的支持系统）以及可以调动什么资源。这些问题可以帮助将叙事从危机或绝望感中转移出来。
然而，在AI环境中，用户往往保持对叙事的控制。聊天机器人可能会继续在用户设定的框架内回应，而不是识别需要重定向、升级或干预的情况。
当涉及未成年人或用户经历自杀念头、自残冲动、饮食障碍行为或严重焦虑时，这一点尤其令人担忧。
为什么完整的临床图景很重要
医学本质上是情境化的。如前所述，诊断和治疗不仅取决于症状。
没有全面患者评估的AI聊天机器人通常无法复制这一整体过程。
Morris博士表示，合格医疗专业人员的作用仍然至关重要，正是因为"有效治疗取决于完整的临床图景。"这包括"病史、体格检查、共病情况、药物使用、生活方式因素以及AI无法可靠解读的微妙临床线索。"
临床医生还进行迭代推理。他们通过提问、检查、测试和观察来完善假设。他们评估不确定性并决定何时监测、调查、转诊或干预。
相比之下，AI系统可能会过早地将不确定性压缩为单一答案。这可能会掩盖鉴别诊断或无法适当传达紧迫性，特别是在复杂或时间敏感的情况下。
"医学不仅仅是信息，"Morris博士补充道。"它关乎判断、情境和责任。"这种区别是核心。
一个技术上看似合理的答案，如果未能考虑症状背后的人，可能在临床上是不安全的。
治疗规划还需要共同决策。临床医生权衡风险、收益和患者偏好，确保护理不仅在医学上适当，而且对接受治疗的人来说也是个人可接受的。
偏见、文化与情境
风险不仅是临床的。Coovadia从心理学和文化角度提出了另一个担忧：AI可以将某些形式的知识普遍化，从而将其呈现为中立或全球适用的。
看似一般的建议实际上可能反映了训练这些系统所用数据中嵌入的主导文化假设。
当建议提供给世界观、家庭系统、文化框架或社会现实与AI假设不同的人时，这可能是有害的。
有心理健康状况的人也可能不太能够识别回应反映偏见或文化不适当观点的情况。
在医疗保健和心理健康保健中，情境很重要。在一个国家、社区或临床系统中适当的建议可能在另一个环境中不适用。
对南非用户而言，这引发了实际问题：AI系统是否将人们引导至当地相关资源，如南非抑郁和焦虑小组(SADAG)、危机热线、公共部门服务、社区诊所和/或其他紧急护理途径。
Coovadia认为，AI平台应该更好地配备将人们转介给适当的现实支持，而不是让情绪困扰的用户无限期地继续对话。
这可能包括危机资源、直接访问链接、紧急指导和适合年龄的指引。
监管：与采用速度赛跑
生成式AI的快速采用已经超过了监管框架。
数百万用户现在咨询AI工具获取健康信息，但监督仍然在各司法管辖区之间分散。
虽然技术公司开始与医学专家合作引入保障措施，但当前系统仍然表现出不一致性、幻觉和不充分的免责声明。
HCPLive，一个全面的临床新闻网站，强调了一个关键原则：AI在医疗保健中必须保持"人在环路中"。如果没有积极的临床监督，偏见、过度依赖和误用等风险将成为系统性的而非偶然的。
Morris博士表示，监管能否跟上快速技术进步确实是个问题。他指出，开发安全可靠的框架需要各国之间的协调、伦理共识和持续监测。"尽管正在取得进展，"他评论道，"AI很可能在一段时间内仍将领先于监管。"
这使得公众教育至关重要。用户需要了解AI生成的健康建议不是诊断、治疗计划或专业护理的替代品。
免责声明本身可能不足以，特别是当用户年轻、情绪困扰、孤立或医疗脆弱时——无论这种脆弱性采取何种形式。Coovadia建议，对于自杀等高风险主题，应该触发更强有力的保障措施。
这些措施可能需要包括更清晰的危机提示、自动转介至适当资源、适合年龄的指导、考虑未成年人的登录系统，以及在伦理和实际可行的情况下，嵌入式健康干预措施。这些建议引发了复杂的隐私和实施挑战，但也反映了风险的严重性。
实践中的负责任支持工具
对DKMS Africa社区参与和传播主管Palesa Mokomele来说，关键在于使用AI来改善信息获取——而不是取代专业或人类支持。
"在一个许多年轻人在线寻求即时、可靠信息的数字世界中，DKMS Africa推出了聊天机器人Swabby，以更好地接触和吸引潜在捐赠者，"她说。
"今年4月推出的Swabby改善了获取清晰信息的途径，同时避免了过度简化的指导。它回答有关血癌和干细胞捐赠的常见问题，指导用户完成注册，并将他们引导至正确的下一步或人类支持。"
Mokomele补充说，该聊天机器人已经帮助减少了重复的社交媒体查询，同时在用户同意下运行且不存储个人数据。"它将不断改进以支持我们的团队，而不取代专业建议，同时帮助我们继续为血癌患者带来希望。"
这种例子说明了专家们所呼吁的谨慎平衡：
当AI工具提供清晰指导、减少信息获取障碍并将用户升级至适当的人类支持，而不是试图取代临床判断时，它们可能很有价值。
更深层的问题：人们为何转向AI
虽然这一辩论的大部分焦点集中在技术本身，但Coovadia认为，对AI日益增长的依赖也揭示了一个更深层次的社会问题。
许多年轻人转向聊天机器人，是因为他们缺乏安全、随时可用的人类支持。
"AI正在填补现实表明心理健康从业者未能填补的空白，"他说。如果一个孩子没有人可以交谈，他们可能会转向感觉最可用且无评判的倾听者。越来越多地，那个倾听者是AI。
社会所需的回应不能仅限于限制技术。它还必须包括在AI之外创造更安全的空间：在家中、在学校、在医疗保健环境和社区中。
父母、教育工作者和普通成年人的心理健康素养至关重要。儿童需要可以向其提出关于身份、困扰、关系、自我价值、性取向、身体形象和恐惧等困难问题的可信人士。
AI可能暴露了空白，但它肯定没有创造它。解决孤独、脱节和获取心理健康服务有限的根本原因与监管工具本身同样重要。
结论
目前，生成式AI聊天机器人在医疗保健中占据着矛盾的位置。它们扩展了信息获取，但也引入了新的风险向量。
对专家来说，问题不再是这些工具是否会使用。它们已经在使用中。挑战是确保它们未来的使用尽可能安全。
实现这一目标将需要强有力的监管、改进的模型设计、更好的危机保障措施、适合年龄的保护措施和本地相关的转介途径。它还需要公众对AI局限性的认识。
对医疗专业人员而言，AI可能是一个有用的支持工具——特别是当由具有丰富临床专业知识的人使用时。但是，对于寻求诊断、治疗和/或情感支持的患者来说，它无法替代经过大量训练的人类判断。
正如Morris博士所说："AI应该谨慎使用，并始终与合格的医疗指导一起使用。"Coovadia的警告同样重要：当人们，尤其是我们的年轻人，因为无处可去而转向AI时，解决方案必须超越更安全的技术。它必须包括更安全的人际关系。
AI当然可以增强医疗保健。但它不应取代临床医生、咨询师和支持系统，这些仍然是安全、道德和富有同情心的人类护理的核心。
【全文结束】