美国医疗保健系统已正式进入人工智能(AI)时代。医疗机构、从业者和患者不再只是尝试一个新潮流，而是正在将这一工具实际应用。
KFF的调查结果显示：约三分之一的美国成年人曾使用人工智能查找健康信息。超过40%的医疗AI用户表示，他们已将个人医疗信息上传到AI工具中。
在医生办公室和医院，人工智能被用于撰写病历、分诊消息、预测再入院率、总结图表、提出鉴别诊断，甚至做出之前由医生决定的处方决策。环境临床智能已减轻了文档记录负担，在许多情况下还改善了临床医生的工作体验。
尽管人工智能有潜力改善患者预后、提高医疗保健可及性、降低整体医疗成本并解决临床医生倦怠问题，但行业也需要对AI采用提出一些难题。这不仅适用于临床环境，也适用于保险公司。
健康保险公司如何使用人工智能
健康保险公司越来越多地部署算法工具来评估索赔、指导预先授权决定，并预测患者"应该"需要的护理。从纸面上看，其理由很直接：提高效率、一致性和成本控制。
但临床医生担心保险公司正在使用人工智能取代临床审查，且人工监督极少。根据美国医学会(AMA)的一项调查，61%的医生表示，他们担心付款方使用未经监管的AI已或将增加预先授权拒绝。他们的担忧不无道理。在一些报道的案例中，拒绝决定的处理速度使得医生进行有意义的审查不太可能。
"一个运转良好的AI驱动保险生态系统愿景已经出现了一些裂痕，"斯坦福大学实证健康法律学者Michelle Mello, JD, PhD写道。"主要担忧是，由于缺乏对AI建议进行有意义的人工审查，可能会出现错误的拒绝。"
这个问题应该让我们所有人都停下来思考。护理决策不是像许多AI系统设计运作那样的概率练习。AI系统基于大量人口数据进行训练，优化模式识别，并部署以基于统计可能性生成建议——或决策。当适当使用时，这种评估可以很强大。但当使用不当时，可能很危险。患者不仅仅是几个数字的总和；他们是个人，不一定总是能完美映射到模型中。
然而，这恰恰是一些保险公司对待他们的方式。
当人工智能被用作看门人而非工具时会发生什么
核心问题不是AI被部署在医疗保健环境中，而是它如何被使用。将AI视为增强人类技能和知识的工具与将其用作护理看门人之间存在根本区别。
工具支持人类判断。看门人则取代它。
如前一节的证据所示，我们正在悄悄但有意义地向后一种形式转变。幸运的是，监管机构开始注意到这一点。
美国医疗保险和医疗补助服务中心(CMS)已表示，虽然算法可以用于辅助确定承保范围，但不能凌驾于个别患者情况之上，也不能取代临床判断。美国医学会(AMA)呼吁加强对保险公司使用AI的监督，强调透明度、偏见缓解以及在影响患者护理的决策中需要人工审查。患者也开始反击，提起诉讼，声称AI驱动的决定不当拒绝了护理。
由于这些行动，关于保险公司和从业者使用AI的问题现在已转向责任问题。当AI系统导致不良结果时，谁负责？如果临床医生遵循导致不良健康结果的AI建议，这是临床判断错误——还是算法错误？如果保险公司使用AI拒绝护理且该拒绝导致伤害，责任应归于何处？是保险公司？AI开发者？还是数据提供者？
医疗保健中AI的有限法律框架
AI在信息和行动之间引入了一个新层次，这一层次通常是不透明的、难以审查的，并且不断演变。这些特性是故意构建到AI系统中的。
考虑到这些现实是AI法律框架未能跟上技术发展的原因之一。正如哈佛大学Petrie-Flom中心最近学术工作所讨论的，AI时代的责任非常不确定，因为传统的医疗事故模型假设有人类决策者。AI消除了这一特点。
医疗保健系统需要一套明确的边界。监管机构需要回答这样的问题：AI应该自主使用吗？在哪里必须由人类作为决策者？临床医生和患者需要什么样的透明度才能信任这些系统？更重要的是，当事情出错时，谁负责？
如果我们不定义AI在医疗保健中的角色，它将自我定义——由不一定总是与患者护理一致的激励机制驱动。
在临床环境中，前进的道路相对清晰。AI应该增强而非取代临床医生的判断。输出应该是可审查、可解释和可质疑的，临床医生应保持最终决策者的地位。
在支付方环境中，标准需要同样严格，甚至更强。承保决定不能简化为没有有意义的人工监督的算法输出。模型必须在使用方式上透明，针对临床标准进行验证，并监控偏见。在影响方面必须有明确的责任。否则，我们就有风险建立一个系统，其中塑造护理可及性的决定是由没有人完全理解、也没有人完全拥有的工具做出的。
人工智能不是医疗保健的未来。它是我们的现在。现在的问题是，我们是建立一个为患者服务的系统——还是一个迫使患者为系统服务的系统。
现在决定还为时不晚。但时间不多了。
【全文结束】