Psshh. Psshh. Psshh.
持续的气流从CPAP机器中发出，对于患有睡眠呼吸暂停症的人来说可能是救命的。它还为医疗专业人员提供了一连串的信息，确保患者在夜间能够正常呼吸。
一份来自民主和技术中心及美国残疾人协会的新报告指出，依赖人工智能和算法系统的医疗技术对于残疾人士来说是一把双刃剑。
“技术是一种新的歧视手段，但我们看到的问题并不新鲜，”报告的共同作者之一Ariana Aboulafia说。“几十年来，残疾人士在医疗系统中一直面临各种问题。多重边缘化的人、残疾女性以及有色人种的残疾人士更是如此。”
直到最近，这一领域的大部分研究都集中在种族和性别上，但越来越多的研究者开始关注占美国人口20%的残疾人士。
在整个20世纪的大部分时间里，残疾人士被关在隔离设施中。尽管最近的法律和法院裁决已经关闭了许多这样的医院并将残疾人士融入社会，但许多人的健康状况需要近乎持续的监督。这份文件为医疗服务提供者、医院和残疾人士提供了如何应对人工智能驱动技术的建议。
STAT采访了报告的共同作者：民主和技术中心的残疾权利和技术政策负责人Ariana Aboulafia，以及AAPD的技术政策顾问Henry Claypool。
为什么你们要写这份报告？
Ariana Aboulafia: 无论他们是否意识到，有无残疾的人都在与AI和算法技术互动。对于残疾人士来说，存在真正的歧视风险。技术在开发、部署和有时审计时并没有充分考虑到残疾人士。随着这些技术整合到高风险环境中，如医疗保健，这将创建一个可能对残疾人士有害的生态系统。
Henry Claypool: 对于残疾人士来说，理解与AI工具合作的影响一直很困难。以非常具体的方式讨论这个问题有助于我们的倡导社区更多地了解这些自动化决策工具如何影响我们的人群。
为什么技术系统难以满足残疾人士的需求？
Aboulafia: 训练数据集未能充分包含残疾的原因有很多。其中一个原因是污名化。另一个原因是，残疾的定义多种多样，如果有人试图建立一个数据集并问“你是否有残疾？”而不提供定义——许多人确实有残疾，但他们不一定知道他们符合某种特定的定义。
残疾人士在医院、机构和监狱中的比例也较高，而这些地方的数据收集工作较少。
这只是数据收集的问题吗？还是技术本身不足？
Aboulafia: 两者都有。一个很好的例子是面部识别。面部识别技术往往无法识别某些面部差异较大的人。部分原因是训练数据没有包括面部差异较大的人。
假设某人想使用视网膜扫描，但没有考虑到有些人没有视网膜或使用假眼。根本问题是，从一开始就没有充分考虑残疾人士的需求。
Claypool: 如果某人在90天内使用了800个导尿管，这通常不是AI工具所能处理的。这些工具通常是为不包括残疾人士的人群设计的。如果没有这种审计，你就启用了一个无法满足需求的工具。
谁应该为这些有缺陷的技术系统负责？
Aboulafia: 收集准确的残疾数据的问题在政府和科技开发者中普遍存在。无论是人口普查数据还是开发者构建的训练数据集，都有污名化的因素。让更多残疾人士参与进来，帮助提高意识并进行纠正，是缓解这些问题的最佳方式。
这些差距在家庭监测系统中表现得最为明显。这些系统对残疾人士有什么潜在的好处吗？
Claypool: 这是一种接触人们的方式。交通可能会很麻烦，公共交通也不总是可靠的。如果他们有交通问题，很难去看医生或其他临床医生，因此这些工具可以帮助密切监控他们的健康状况。例如，监测血压并定期报告。
对于CPAP机器，它们几乎总是在监测人们的睡眠事件。这些信息对临床医生来说是可访问的，可以让他们识别出人们呼吸不足的时间点。再想想所有糖尿病患者，这些技术如何帮助他们控制血糖水平。
那么缺点是什么？
Aboulafia: 任何在家中使用的监测技术，包括智能家庭监控系统和可穿戴技术，往往会通过算法检查问题。技术有时依赖互联网或电力。假设你依靠这项技术照顾一位残疾人士，而突然发生断网，你就不知道发生了什么。
任何时候提到监控，都会涉及隐私问题。因为增加监控就意味着减少隐私。特别是那些在家中运行视频并通过算法分析的家庭监控系统，确实存在隐私方面的担忧。我们在报告中建议，如果残疾人士想使用这些技术，应选择来自其医疗服务提供者的技术，而不是第三方。
任何希望在医院系统中使用AI的医院或医疗服务提供者都不应以取代人类提供者为目标。
AI容易“幻觉”，即编造数据。这对残疾人士有何影响？
Aboulafia: 随着AI在医疗系统中不断推广，特别是在行政背景和其他一些背景下，你的电子健康记录中可能会出现“行政错误”。
建议所有人，包括没有残疾的人，审查自己的电子健康记录，因为他们可能能够发现AI软件造成的错误。
这些系统是否经过审核？
Aboulafia: 很难知道答案。
有时会对算法或AI技术进行审核，然后它们会自我标榜为“偏见测试”。但这种审核可能没有包括残疾。它可能包括了种族和性别，但没有包括残疾。因此，人们可能真的认为他们正在实施一种经过“偏见测试”的算法系统。
在一个理想的世界中，我们应该有预部署审核和后部署审核。很多情况下，这些系统已经实施，但仍有更多的系统正在考虑引入高风险系统。
还有哪些其他力量会影响这些技术的实施？
Claypool: 直接护理人员短缺。某种程度上，技术可能在这方面有所帮助，比如安排护理人员的工作时间。但这绝不是在考虑削减医疗补助时应采取的措施。
如果从系统中拿走更多的钱，你可能会看到长期服务和支持依赖人群的工时减少。当各州基于预算短缺做出这些决定时，通常会是一个粗略的工具，他们会减少个人有资格获得的小时数，但这并不对应他们的需求。结果会导致人们的护理受到损害，无法获得足够的小时数来满足需求。
Aboulafia: 如果这些技术被用来替代面对面的护理，那将特别成问题。我们建议这些家庭监测技术不应被视为面对面护理的替代品，而是补充。
(全文结束)
