Psshh。Psshh。Psshh。
持续从CPAP机器中喷出的空气对于患有睡眠呼吸暂停症的人来说可能是救命的。它还为医疗专业人员提供了确保患者整夜呼吸的信息流。
一份来自民主和技术中心及美国残疾人协会的新报告展示了依赖人工智能和算法系统的医疗技术如何成为残障人士的双刃剑。
“这并不是什么新鲜事，”报告的合著者之一阿里安娜·阿布奥拉菲亚（Ariana Aboulafia）说。“几十年来，残疾人在医疗系统中一直面临各种问题。对于多重边缘化的残疾人、残疾女性和有色人种残疾人来说，这些问题更加严重。”
这份报告是最新的一份文件，记录了个人身份如何影响他们从医疗技术中获得的护理，以及这些系统在充分服务边缘化社区的人们时所面临的困难。直到最近，这一领域的大部分研究都集中在种族和性别上，但越来越多的研究人员开始关注占美国人口20%的残障人士。
为什么你们要写这份报告？
阿里安娜·阿布奥拉菲亚：无论有无残疾，人们都在与人工智能和算法技术互动。他们是否知道这一点则是另一个问题。对于残障人士来说，存在真正的歧视风险。技术在开发、部署和审计过程中并没有充分考虑到残障人士的需求。随着这些技术被整合到高风险环境如医疗保健中，它们有可能对残障人士造成风险或潜在伤害。
亨利·克莱普尔（Henry Claypool）：对于残障人士来说，很难真正理解使用AI工具的含义。用具体的方式讨论这个问题有助于我们的倡导社区更多地了解这些自动化决策工具如何影响我们的人群。
为什么技术系统难以满足残障人士的需求？
阿布奥拉菲亚：训练数据集未能充分包含残疾人的原因有很多。其中一个原因是污名化。另一个原因是，残疾的定义多种多样，如果有人试图构建一个数据集并询问“你是否有残疾？”而不提供定义——很多人实际上确实有残疾，但他们并不知道自己符合某个特定定义。
此外，残疾人不成比例地出现在医院、机构和监狱中，而这些地方的数据采集工作并不充分。
这只是数据收集的问题吗？还是技术本身不够好？
阿布奥拉菲亚：两者都有。一个很好的例子是面部识别。面部识别通常无法识别某些面部差异较大的人。部分原因是训练数据中没有包括这类人群。
假设有人想采用视网膜扫描技术，但却没有考虑到有些人没有视网膜，或者使用的是假眼。贯穿这一切的核心问题是，从一开始就没有充分考虑残障人士的需求。
克莱普尔：如果有人在90天内使用了800个导尿管，那么AI工具通常不会为此进行校准。这些工具通常是为不包括残障人士的人群设计的。如果没有这种审计，你就相当于在没有检查其适用性的情况下启用了这个工具。
谁应该为这些故障的技术系统负责？
阿布奥拉菲亚：收集准确的残疾数据的问题在政府和科技开发者中普遍存在。无论是人口普查数据还是开发者构建的训练数据集，都会有污名化的问题。让更多的残疾人参与进来，帮助提高意识并纠正这些问题，是缓解这些担忧的最佳方式。
克莱普尔：这不是联邦补救措施能够解决的问题，仅仅通过增加资金来改进人口普查并统计残疾人数量并不能解决问题。当然，我们在某些方面确实可以改进，但我们还有很多工作要做。
这些差距在家庭监测系统中表现得最为明显。对于残障人士来说，拥有更多的这些系统有哪些潜在的好处？
克莱普尔：这是一种接触人们的方式。交通可能会很麻烦，公共交通也不总是可靠。如果他们遇到交通问题，就很难去看医生或其他临床医生。因此，这些工具可以帮助密切监控他们的健康状况。例如，他们可以监测血压并定期报告。
对于CPAP机器，它们几乎总是监测人们的睡眠事件。这些信息对临床医生来说是相当容易获取的，可以帮助他们识别患者呼吸不足的时间点。再比如，许多糖尿病患者使用这些技术来控制血糖水平。
那么缺点是什么呢？
阿布奥拉菲亚：任何在家中使用的监测技术，包括智能家居监控系统和可穿戴技术，往往都会通过算法来检测问题。技术有时依赖互联网或电力。假设你非常依赖这项技术来照顾一位残疾人，而这个人突然断网了，你就不再知道发生了什么。
任何涉及监视的技术都会带来隐私问题。因为如果你增加了监视，就会减少隐私。特别是那些在家里拍摄视频并通过算法处理的家庭监测系统，存在隐私相关的担忧。我们在报告中建议，如果残障人士确实希望使用这些技术，应选择由医疗服务提供商提供的技术，而不是第三方技术。
任何希望在医院系统中使用AI的医院或医疗服务提供者都不应以取代人类提供者为目标。
AI倾向于“幻觉”，即编造数据。这将如何影响残障人士？
阿布奥拉菲亚：随着AI继续在医疗系统中推广，特别是在行政背景下的应用，你的电子健康记录中可能会出现“行政错误”。
AI在以前被认为风险较低的医疗环境中用于行政转录等任务。我们建议所有人在AI软件可能出现错误的情况下审查自己的电子健康记录。
这些系统是否经过审计？
阿布奥拉菲亚：很难知道答案。
有时会对算法或AI技术进行审计，然后将其宣传为“偏见测试”。但这种审计可能没有包括残疾，可能只包括了种族或性别。因此，人们可能真的相信他们在实施一种经过“偏见测试”的算法系统。
在一个理想的世界里，我们应该有预部署审计和后部署审计。很多情况下，实施已经完成，但这并不意味着还有很多系统正在考虑引入高风险系统。
还有哪些其他因素会影响这些技术的实施？
克莱普尔：直接护理人员短缺。在一定程度上，技术可以在边际上帮助安排护理人员的工作。但这绝不应该是你在考虑削减医疗补助时采取的措施。
如果从系统中拿走更多的钱，你可能会看到一些接受长期服务和支持的人群的服务时间减少。当各州基于预算赤字做出这些决定时，这可能是一个非常粗略的工具，他们会减少个人有资格获得的服务小时数，但这并不对应他们的需求。最终，你会看到人们的护理受到损害，得不到足够的服务时间。
阿布奥拉菲亚：如果这些技术被用来替代面对面的护理，那尤其成问题。我们建议这些在家监测技术不应作为面对面护理的替代品，而是补充。这并不是说残障人士不应该使用它们，但应将其视为补充而非替代。
感觉残障人士需要经历很多步骤，以确保自己不会被骗或在医疗情况下被不当监控。
克莱普尔：历史上，这是残障人士与医疗系统之间的一个现实问题。自医疗系统成立以来，我们就与其有过艰难的互动。我们是无法通过旨在让人们摆脱困境的职业治愈的经典例子。
我们正在取得更多进展。如果我们与技术开发者合作，我们可以有更好的结果。我认为这些最佳实践正是在这种精神下提出的。
(全文结束)
