人们可能会认为医生的主要职责之一是不断评估和重新评估风险：某项医疗程序成功的几率是多少？患者是否有发展成严重症状的风险？患者何时应该再次进行检查？在这类关键决策中，人工智能的兴起有望减少临床环境中的风险，并帮助医生优先照顾高风险患者。
尽管人工智能具有巨大潜力，但麻省理工学院电气工程与计算机科学系（EECS）、Equality AI和波士顿大学的研究人员在《新英格兰医学杂志人工智能》（NEJM AI）10月刊的一篇评论中呼吁监管机构加强对人工智能的监督。这一呼吁是在美国卫生与公众服务部（HHS）民权办公室（OCR）根据《平价医疗法案》（ACA）发布了一项新规则之后提出的。
今年5月，OCR在ACA下发布了一项最终规则，禁止基于种族、肤色、国籍、年龄、残疾或性别在“患者护理决策支持工具”中的歧视。这一术语涵盖了医学中使用的自动化和非自动化工具。该最终规则是在响应乔·拜登总统2023年发布的关于安全、可靠和值得信赖的人工智能开发和使用的行政命令的基础上制定的，旨在通过防止歧视来推进拜登-哈里斯政府在促进健康公平方面的承诺。
高级作者、EECS副教授Marzyeh Ghassemi表示：“这项规则向前迈出了一大步。”Ghassemi隶属于麻省理工学院阿卜杜拉·拉蒂夫·贾梅尔机器学习健康诊所（Jameel Clinic）、计算机科学与人工智能实验室（CSAIL）和医学工程与科学研究所（IMES），她补充说：“该规则应指导已经在各临床亚专科中使用的非人工智能算法和临床决策支持工具的公平性改进。”
自1995年第一个AI设备（PAPNET测试系统，一种用于宫颈筛查的工具）获得批准以来，过去十年中美国食品和药物管理局（FDA）批准的AI设备数量大幅增加。截至10月，FDA已批准近1000个AI设备，其中许多设计用于支持临床决策。
然而，研究人员指出，尽管大多数美国医生（65%）每月都会使用这些工具来确定患者的下一步治疗方案，但目前没有监管机构监督由临床决策支持工具生成的临床风险评分。
为了解决这一不足，Jameel Clinic将于2025年3月举办另一场监管会议。去年的会议引发了教职员工、世界各地的监管者和行业专家之间的讨论和辩论，重点讨论了医疗领域的人工智能监管。
“临床风险评分比‘AI’算法更透明，因为它们通常只涉及少数几个变量，并通过简单模型链接，”哈佛医学院生物医学信息学系主任兼《NEJM AI》主编Isaac Kohane评论道。“尽管如此，这些评分的质量仅取决于用于‘训练’它们的数据集和专家选择或研究特定队列的变量。如果它们影响临床决策，就应该像其最近出现且复杂得多的AI亲属一样受到相同标准的约束。”
此外，虽然许多决策支持工具不使用人工智能，但研究人员指出，这些工具同样可能在医疗保健中延续偏见，因此也需要监管。
“由于嵌入电子病历中的临床决策支持工具的激增及其在临床实践中的广泛使用，监管临床风险评分面临重大挑战，”共同作者、Equality AI首席执行官Maia Hightower表示。“尽管如此，这种监管仍然是必要的，以确保透明度和非歧视性。”
然而，Hightower补充说，在即将上任的政府强调放松管制并反对《平价医疗法案》和某些非歧视政策的情况下，临床风险评分的监管可能特别具有挑战性。
(全文结束)
