在医疗保健与公共卫生这两个既独立又重叠的领域中,生成式人工智能正在重塑系统运作方式。临床环境正在利用生成式人工智能工具起草临床记录和患者信息,而公共卫生部门则在探索如何通过这些系统定制针对不同社区的健康信息。
然而在医疗保健和公共卫生领域,生成式人工智能工具的采用往往伴随着有限的透明度和监管,几乎没有患者和社区的参与,尤其是对结构性不平等影响最深的群体更是缺乏参与。
将社区声音和优先事项置于人工智能开发、治理和实施的核心位置,在任何领域都应是基本要求,这一点在健康领域尤为关键。健康关乎个人隐私且具有脆弱性,在美国,结构性排斥和伤害通过长期的制度遗留问题和现行政策持续存在,这些因素边缘化了种族少数群体、酷儿群体、跨性别者和残障人士。当人工智能系统的设计和实施脱离这一背景时,潜在危害将极其深远。
我们已在预测性(非生成式)人工智能模型中见证过此类问题。一个广泛应用的医疗算法低估了黑人患者随访护理的需求,相比白人患者更少转介服务,同时高估白人患者的医疗需求导致更多转介。这是因为模型使用医疗支出作为医疗需求的替代指标,却未考虑结构性种族主义造成的护理障碍(如保险覆盖率低、医疗人员偏见等),导致黑人患者实际获得的服务更少。
同样,残障群体也受到人工智能风险分层工具的伤害,这些工具基于生活质量假设将残障群体在新冠治疗中降级优先级。这些训练数据不完整、未经审核且存在偏见的工具,可能强化甚至加剧现有的健康不平等。由于它们通常在后台运行,往往缺乏透明度和问责机制。
生成式人工智能正在进入公共卫生领域。例如,美国疾控中心利用生成式人工智能分析社交媒体数据监测学校关闭情况,以检测潜在疫情爆发并预测药物过量趋势。尽管公共卫生系统长期资金不足且人力紧张,但较慢的技术采用速度反而提供了在全面推广前建立社区问责机制的独特机会。
我们主张从基层而非顶层开发生成式人工智能系统。已有的ACCESS AI框架提供了范例,其强调在临床人工智能全生命周期中嵌入公平性,通过社区参与识别使用障碍。为此,我们近期成立了"健康正义基层创新实验室",旨在提升问责制、公平性和透明度。
具体实践中,社区应主导训练数据的判定标准,例如批准社区叙事数据并拒绝带有偏见、污名化或未经同意的来源。社区治理组应扩展人工智能模型性能的评估维度,在技术指标外纳入信任度等社区优先事项。将社区成员与开发者定期会面机制化,提供混合参与方式并支付其时间与专业费用。
实验室关注范围延伸至公共卫生领域,特别关注其资源限制和人口层面功能。我们同时关注人工智能的环境代价,尤其是数据中心对种族少数和低收入社区(含大量残障人士)的生态负担。这些群体既承受健康不平等的伤害,又承担生成式人工智能指数增长的环境成本。我们的视角受到TESCREAL等批判框架的启发,强调关注现有危害而非假设性风险。
面对已观察到的危害,技术专家和社区可共同探索替代方案,例如开发可在移动设备运行的小规模领域模型,既能降低环境影响又提升可及性。近期参议院否决州级人工智能监管禁令的决议,凸显社区中心化治理的重要性。要避免加剧健康不平等,需要投资社区主导的生成式人工智能设计、实施和治理体系。这种参与式治理能在伤害发生前预防,并确保最受影响的社区塑造其日常接触的技术。
健康领域具有潜力成为更公平、透明和社区中心化人工智能发展的试验场,其经验可辐射至其他领域。
【作者信息】Oni Blackstock医学博士是前计算机科学家、医师、研究者及健康公平倡导者,创立"健康正义"咨询公司;Akinfe Fatou为残疾公正倡导者,创立Cre8tive Cadence Consulting咨询公司。
【全文结束】