由Mount Sinai的Icahn医学院的研究人员与以色列Rabin医学中心以及其他合作伙伴合作进行的一项研究表明，即使是最先进的人工智能（AI）模型在面对复杂的医学伦理场景时，也会犯下令人惊讶的简单错误。
这项研究引发了关于在医疗环境中何时以及如何依赖大型语言模型（LLMs）的重要问题，例如ChatGPT。研究结果发表在2025年7月22日在线发布的《NPJ Digital Medicine》期刊上。
研究团队受到Daniel Kahneman所著的《思考，快与慢》一书的启发，该书对比了快速、直觉的反应与较慢、分析性的推理。人们已经观察到，当经典的横向思维谜题出现细微变化时，大型语言模型（LLMs）会出现失误。基于这一见解，研究测试了当面对经过刻意调整的著名伦理困境时，AI系统在这两种模式之间转换的能力。
“人工智能可以非常强大和高效，但我们的研究表明，它可能会默认选择最熟悉或最直觉的答案，即使这种反应忽略了关键细节，”研究的共同资深作者、Mount Sinai的Icahn医学院Windreich人工智能与人类健康系的生成式人工智能主管Eyal Klang博士说道。“在日常情况下，这种思维方式可能不会被注意到。但在医疗领域，决策往往带有严重的伦理和临床影响，忽视这些细微差别可能会对患者产生实际后果。”
为了探索这种倾向，研究团队使用了几种商业可用的LLMs，结合创意横向思维谜题和稍作修改的知名医学伦理案例进行测试。其中一个例子改编自经典的“外科医生困境”，这是一个广泛引用的1970年代谜题，突显了隐性性别偏见。在原始版本中，一个男孩和他的父亲在车祸中受伤，并被紧急送往医院，外科医生感叹道：“我不能给这个男孩做手术——他是我的儿子！”谜题的转折在于外科医生是男孩的母亲，但许多人因为性别偏见而没有想到这一点。在研究人员的修改版本中，他们明确指出男孩的父亲是外科医生，消除了歧义。即便如此，一些AI模型仍然回应说外科医生必须是男孩的母亲。这一错误揭示了LLMs如何坚持熟悉的模式，即使有新的信息与之矛盾。
在另一个测试LLMs是否依赖熟悉模式的例子中，研究人员借鉴了一个经典的伦理困境，即宗教父母拒绝为他们的孩子接受挽救生命的输血。即使研究人员修改了情境，说明父母已经同意，许多模型仍然建议推翻一个已经不存在的拒绝决定。
“我们的研究结果并不意味着人工智能在医学实践中没有一席之地，但它们确实突出了在需要伦理敏感性、细微判断或情感智能的情况下，需要深思熟虑的人类监督的重要性，”研究的另一位共同资深作者、Mount Sinai的Icahn医学院Windreich人工智能与人类健康系主席、Mount Sinai健康系统首席人工智能官Girish N. Nadkarni博士说道。“当然，这些工具可以非常有帮助，但它们并非无懈可击。医生和患者都应该明白，人工智能最好作为增强临床专业知识的补充工具，而不是替代品，特别是在处理复杂或高风险决策时。最终目标是建立更可靠和符合伦理的人工智能整合到患者护理中的方法。”
“对熟悉案例的简单修改暴露了临床医生无法承受的盲点，”研究的主要作者、Rabin医学中心Davidoff癌症中心血液学研究所的研究员Shelly Soffer博士说道。“这强调了在部署人工智能进行患者护理时，人类监督必须保持核心地位。”
接下来，研究团队计划扩大他们的研究范围，测试更广泛的临床例子。他们还在开发一个“人工智能保证实验室”，以系统评估不同模型处理现实世界医学复杂性的能力。
该论文的标题为《大型语言模型在医学伦理推理中的陷阱》。
根据期刊列出的研究作者，包括Shelly Soffer博士、Vera Sorin博士、Girish N. Nadkarni博士和Eyal Klang博士。
关于Mount Sinai的Windreich人工智能与人类健康系
在Girish N. Nadkarni博士的领导下，Mount Sinai的Windreich人工智能与人类健康系是美国医学院中的首个此类部门，致力于在人工智能与人类健康的交汇点上开创变革性进步。Nadkarni博士是医疗保健领域人工智能安全、有效和道德使用的国际权威。
该部门致力于以负责任、有效、道德和安全的方式利用人工智能，以改变研究、临床护理、教育和运营。通过汇集世界级的人工智能专业知识、尖端基础设施和无与伦比的计算能力，该部门正在推进多尺度、多模态数据整合的突破，同时简化快速测试和实践转化的路径。
该部门受益于与Mount Sinai内部的动态合作，包括与德国波茨坦的Hasso Plattner数字工程研究所和Mount Sinai健康系统合作成立的Mount Sinai Hasso Plattner数字健康研究所，该研究所通过推进数据驱动的方法来改善患者护理和健康结果，补充了其使命。
这一创新的核心是著名的Mount Sinai的Icahn医学院，它作为学习和合作的中心枢纽。这种独特的整合使研究所、学术部门、医院和门诊中心之间能够进行动态合作，推动疾病预防、复杂疾病治疗的改善，并在全球范围内提高生活质量。
2024年，由Mount Sinai健康系统的临床数据科学团队与部门教职员工合作开发的创新NutriScan AI应用为Mount Sinai健康系统赢得了享有盛誉的Hearst健康奖。NutriScan旨在加快住院患者营养不良的识别和治疗。这款机器学习工具提高了营养不良诊断率和资源利用率，展示了人工智能在医疗保健中的实际应用。
【全文结束】
