任何目睹过父母衰老的人都知道,在没有算法介入的情况下,护理决策本身已经令人痛苦不堪。如今,随着预测性AI扩展到护理领域,基于数据驱动的预测正在影响这些极其私人的决定。
正如AI伦理学家Rebecca Bultsma在我们对话中提醒的那样,护理技术并非又一种生产力工具。Bultsma正在爱丁堡大学完成她的数据与AI伦理博士论文,研究领导者如何应对深度伪造与新兴技术。
AI承诺带来效率、早期干预和更好的协调,但它正进入人类生活中最私密的空间之一。AI是增强家庭支持系统,还是加剧护理者的压力,不仅取决于技术成熟度,还取决于伦理设计。
护理不能仅仅被视为另一个数据集
护理劳动一直是支撑全球劳动力基础的基石。相关工具包括老年人监控系统、医疗预约助手以及预测健康衰退或护理者倦怠的预测模型。理论上,这些系统能让家庭在危机发生前主动规划,而非被动应对。但预测性护理AI与其他预测技术存在根本差异。
Bultsma解释说:“这个领域有很多独特之处。这些预测会进入一段关系。当然,信用评分可以预测你的财务风险,但护理预测会告诉一个女儿关于她母亲的某些事,这些事具有深刻个人影响,可能改变她如何出现在母亲面前。”
与信用评分不同,护理预测可能影响一个人与所爱之人的交谈方式,悲伤是否过早开始,或者是否提前加速昂贵决策。这项技术不只是预测结果,它在实时重塑关系。
另一个被忽视的维度是隐含的劳动假设。当一个工具预测护理需求增加时,它隐含地预测了有人会提供这种护理。“预测假设了某人的劳动,”Bultsma说,“通常是女性,通常是无偿的。模型隐含地假设了谁的时间可用,谁的职业可以灵活调整,谁将做出牺牲。”这些假设不公平地塑造了家庭内部和社会中的负担分配。
明确谁在定义“衰退”
一些关于预测性AI的公开讨论往往聚焦于准确性与隐私。Bultsma认为更深层的权衡更为复杂:谁定义衰退?谁的优先级塑造了模型?
预测系统是在相互竞争的机构目标中构建的。一项2014年研究健康技术开发的论文描述了开发者如何在“价值秩序”中不断权衡——什么对患者最好,什么对系统最便宜,什么对组织最有效率。“如果成本节约驱动模型,”Bultsma指出,“那么预测可能更倾向于服务机构,而非家庭。”
历史也印证了这一点。2019年发表在《科学》杂志上的一项由Obermeyer及其同事进行的研究发现,一种广泛使用的医疗算法将支出作为健康需求的代理指标,系统性地低估了黑人患者的需求。支出不等于需求。然而,该算法的逻辑内嵌了这种假设。
Bultsma强调,预测性护理工具同样编码了道德判断。“这些工具正在做出深具人性的判断——什么算作‘衰退’?何时应通知某人?界限在哪里?——然后将其包装成‘数学’。”数字看似中立,但其背后的价值观并非如此。
当心:预测可以改变人
“对衰退的预测可能变成自我实现的预言,因为它改变了家庭对待亲人的方式,”Bultsma解释道。一个被告知母亲“本月风险增加了40%”的女儿,可能会过早开始悲伤、退缩或做出不可逆的决定。
最深刻的伦理挑战之一是心理层面的。预测并非中性信息。它们改变人们的感受和行为。
用户和主体往往不是同一个人。护理者接收预测,患者则承受后果。随着时间的推移,患者的同意能力可能会下降。如Bultsma所说,“这不是一个一次性打勾的问题。”持续的同意、关系动态和自主权必须不断被考虑。
生物伦理学之所以诞生,是因为医疗技术进步快于伦理反思。知情同意成为标准实践,是在医生未经询问就“为患者好”做出决定之后。预测性护理AI可能以更大规模重复这一模式。
当AI预测父母需要更多护理时,它可能帮助家庭规划。也可能在不知不觉中取代了了解自己家人并做出自己能接受的决定的深层人性行为。“说实话,”Bultsma反思道,“我认为两者都有。而这正是问题如此困难的原因。”
反过来,预测系统也能挽救生命。2024年发表在《加拿大医学协会杂志》上的一项研究发现,使用预测性监测后,意外住院死亡人数下降了26%。但背景很重要。“那是医院里医生和护士在读取输出,”Bultsma指出,“一个家庭护理者晚上11点在手机上收到通知,完全是不同的情况。”如果没有可操作的下步措施,预测预警可能反而成为负担。
建立责任与公平的护栏
如果AI要负责任地支持护理工作,伦理护栏必须超越技术性能。
Bultsma强调过程重于产品。最关键的保护措施是确保护理者和患者——尤其是那些历史上被医疗系统忽视的社区——从一开始就参与设计决策。
2023年的研究发现,主要商业语言模型复现了临床实践中早已被推翻的、过时的基于种族的医学假设。研究人员和开发者正在积极研究公平审计框架,但各平台实施情况参差不齐。
在某些情况下,科技公司资助评估自身工具的研究,这引发了是否独立监督的质疑。“裁判效力于其中一支队伍,”Bultsma指出。没有独立性的透明度是不够的。她提出了几项护栏:
- 研究关系影响,而不仅仅是预测准确性。
- 将临床级预测与消费级交付区分开来。
- 用疲劳的护理者能理解的语言提供解释。
- 在部署前测试种族、收入、地理位置的公平性。
- 要求预测附带可操作的路径。
- 强制护理者和护理对象都主动同意。
- 允许家庭不同意预测而不受惩罚。
- 让护理者参与定义“衰退”和预警阈值的决策会议。
AI将继续发展。Bultsma的核心警告很明确:护理AI不仅关乎预测健康轨迹。它重塑个人关系,包含道德假设,并重新分配劳动。没有护栏,它有可能在效率的旗帜下加剧女性的不平等和情感压力。
护理AI的未来将不仅取决于算法精度,还取决于谁的声音定义了衰退,谁的劳动被假设,以及伦理是否跟得上技术扩张。为了成为护理经济中的稳定力量,它必须不仅拥有智慧,还要有谦卑——以及人性。
【全文结束】

