概要
2012年，专家预测人工智能（AI）最终将取代医生当前临床实践的80%。尽管AI在医疗保健领域确实已大幅扩展——特别是在新冠疫情期间——但过去几年中，包括医疗保健在内的多个经济部门在AI应用上遭遇了重大挫折。
这些问题大多与AI对深度学习算法的依赖有关，这些算法在所谓的训练数据或源数据中寻找模式，而这些数据本身可能存在固有不一致或偏见。另一个主要挫折是电子健康记录（EHR）整合速度低于预期。然而，我们作为行业所认识到的、专家所倡导的，以及联邦贸易委员会（FTC）等监管机构所关注的是：AI所依赖的某些数据模型可能存在偏见。这些偏见可能加剧不同患者和消费者群体已有的不平等现象。FTC近期的沟通和行动表明，该监管机构正将注意力转向医疗保健中的AI应用，这对依赖AI的数字健康利益相关方可能产生重大影响。
FTC关于AI滥用的声明
FTC近期由其首席律师发布了一篇未预告的博客文章，表明其将在整个经济领域对存在偏见的AI使用采取更积极的监管角色。此外，FTC委员罗希特·乔普拉（Rohit Chopra）的近期评论进一步表明，该机构正转向监管依赖AI的软件企业。历史上，FTC在监管科技行业方面并不活跃，但鉴于近期对谷歌和Facebook等硅谷巨头的执法行动，其被动时代可能已经结束。
综上，该监管机构明确表示将关注监管以下存在问题的AI驱动技术：
- 用于开发机器学习的"训练"数据缺失特定人群的相关信息
- 本意良好的算法产生歧视性结果，对特定人群的负面影响大于其他群体
- 缺乏算法开发的透明度
- 对算法实际交付能力的过度承诺
- 数据来源的误导性信息（例如，开发者或软件供应商如何获取AI所依赖的数据）
- 造成消费者无法合理避免的伤害大于益处
- 敏感数据的隐私问题及高数据泄露风险
FTC在声明中提供了这些问题的实例，并——更重要的是——以"自我担责，否则FTC将代你执行"作为结语。这种直白的措辞表明FTC对这一问题的严肃态度，软件供应商应审视其AI商业模式和策略，以规避上述问题引发的重大挫折。
医疗保健中的AI偏见
具体到医疗保健领域，为许多声称能促进临床和商业决策的数字健康产品提供基础的算法所使用的数据，往往反映现实世界。我们知道，现实世界在种族、性别和社会经济地位等各种人口统计特征上存在大量不平等。医疗保健中AI的问题通常归因于AI开发和使用周期中的偏见，包括数据源、数据准备和实施阶段（图1）。AI在医疗保健中的设计意图也存在重大伦理问题。
图1. AI偏见的潜在来源
数据源中的偏见
质量差、有偏见或不一致的数据集最终可能导致软件实施的意外后果。为开发深度学习算法而建立的数据收集过程可能存在固有偏见。在数据收集方面，如果源数据未能充分代表AI将应用的人群，则其可能无法有效运作，且更可能对被排除群体产生不成比例的影响，而使AI实施前已占优势的群体获益。
近年来的一个主要案例是使用基于偏见数据的医疗保健风险预测算法，这些算法依赖预测医疗成本而非疾病本身。不幸的是，以成本作为疾病严重程度的替代指标可能未考虑黑人患者与白人患者在医疗服务获取上的不平等。
模型开发中的数据准备偏见
在数据准备阶段也可能引入偏见，例如选择特定属性作为AI软件的主要驱动因素以支持预测准确性。如果这些属性在现实世界中本身已存在偏见或不平等，基于这些有偏属性训练AI可能加剧模型使用的不公平结果。
AI模型验证与实施中的偏见
可能延续偏见的AI数据模型验证方法包括：未将识别偏见纳入其方法、为追求在多种用途或情境中的通用性而缺乏社会背景考量，或难以用数学术语定义"公平性"（鉴于AI完全依赖计算运行）。
纠正AI偏见通常很困难。例如，AI生成的推断往往很微妙，可能无法代表人群的某些方面。然而，采用更方法论化和深思熟虑的开发方法，考虑医疗保健中AI使用的增加风险，可能减轻部分后果。
如何弥合差距
尽管AI中的偏见具有独特挑战性，但AI研究专家提出了一些支持偏见缓解的策略。以下是在AI开发、测试和实施各阶段提出的部分解决方案：
- 构建更具代表性且全面的数据集，准确反映AI将部署的人群，并承认在一个情境中开发的AI不易直接转化为其他情境
- 开发以AI为中心的算法验证方法，以检测模型开发所用数据集中的数据偏见
- 考虑使用算法识别用于训练深度学习算法的数据集中的现有差异，理解差异如何在数据中体现，从而消除这些偏见的影响
- 提高AI驱动产品背后算法的透明度，使医疗服务提供者能识别可能的偏见并向开发者提供反馈以进行渐进式改进
- 考虑部署AI的意图；若以节省成本为目标部署，需阐明其将如何影响对弱势人群的治疗决策
- 考虑多元化用于指导AI开发的视角和经验（例如，让受AI解决方案影响的社区参与）
- 改进伦理指南，确保机器学习和AI系统要求医生接受必要教育，以更好地调整传统上医生对患者的职责，适应AI新时代
对医疗保健利益相关方的影响
得益于数据孤岛的打通及数据共享和互操作性的提升，加之AI在医疗保健领域的开发和使用呈指数级增长，这对所有主要利益相关方部门均产生重大影响。重要的是，医疗保健领域的重大进展已开始利用可能面临新监管和监督的AI驱动技术，包括：
- 精准医疗（复杂算法、数字健康和基于组学的检测）
- 医学影像（医疗图像识别、诊断、手术应用）
- 风险预测（目标人群定位和服务优先级排序、风险缓解）
- 可穿戴设备和远程患者监测
- 临床研究和药物发现
最终，关于医疗保健中AI的证据、数据偏见和隐私问题的担忧将影响跨领域医疗保健利益相关方正在实施的策略。例如，开发者需重点关注FTC等机构对此领域监管的扩展，这些机构将确保AI产品符合道德规范并达到最低证据门槛。对于医疗服务提供者及其患者而言，AI在医疗保健中的使用可能对患者护理产生重大影响。尽管有证据显示其益处显著，但及早识别AI相关风险并改进适当使用方式，可从长远减少不良结果。此外，公共和私人支付方需在覆盖决策中，为AI驱动的数字疗法和其他数字健康产品建立适当性和证据标准。
尽管该领域增长显著，但AI作为行业主导组成部分的时代尚未到来。然而，持续的新冠疫情已加速其采用，如远程诊断、远程监测和远程评估使用的增加。这种加速增长可能要求相关利益方在其医疗保健AI战略中考虑并应对意外后果。
【全文结束】
