人工智能作为医疗设备的信任重要性The importance of trust in AI as a medical device | MedTech Dive

环球医讯 / AI与医疗健康来源:www.medtechdive.com美国 - 英语2025-09-25 19:50:10 - 阅读时长5分钟 - 2091字
本文深入探讨了人工智能作为医疗设备在广泛应用过程中面临的核心挑战——用户信任问题。作者指出,尽管AI技术在诊断准确性方面可能超越人类医生,但公众对其错误的容忍度显著低于对人类医疗专业人员的宽容度。文章系统分析了构建信任的多层次途径,包括监管机构建立完善的安全框架、制造商提供透明的算法解释和数据来源说明、解决训练数据中的潜在偏见问题,以及特别强调赢得医疗专业人员信任的关键作用,阐明了信任建设对AI医疗设备成功融入医疗体系的决定性影响,同时指出年轻一代可能成为推动这一技术接受度的重要力量。
人工智能医疗设备信任监管机构制造商患者医疗专业人员安全有效性偏见健康
人工智能作为医疗设备的信任重要性

人工智能作为医疗设备的信任重要性

与患者及监管机构建立信任将成为人工智能在医疗设备和诊断领域应用的关键

艾莉森·丹尼斯(Alison Dennis)是伦敦律师事务所泰勒威辛格(Taylor Wessing)的合伙人,她与制药和医疗设备制造商合作,确保产品符合监管要求。泰勒威辛格授权使用。

艾莉森·丹尼斯是伦敦律师事务所泰勒威辛格(Taylor Wessing)的合伙人,她共同领导专注于监管和交易事务的国际生命科学团队。她与制药和医疗设备制造商合作,确保产品符合监管要求,并经常与监管机构进行谈判。

如果你和我一样,生病时通常会采用以下两种方法之一:咨询医生或在线查询症状。前者可能费用高昂或耗时较长,后者则往往不准确且不可靠。如果有一条折中路径,你可以向能够提供诊断的AI聊天机器人报告症状,会怎样呢?你会相信它的答案吗?如果会,你对它的信任会超过还是不及对医生的信任?这类工具已经存在,并且在复杂性、专业知识和准确性方面正迅速发展。

这只是人工智能作为医疗设备将深入我们生活的众多方式之一。AI医疗设备采用的关键非技术障碍之一是用户信任。正如谚语所说,信任难建立却易失去。大多数人会信任他们的医生,同时也意识到医疗专业人员是人,因此不可避免地会犯错。讽刺的是,正是这种人性产生了信任:这些是你能够直视双眼并建立关系的个体。

AI则不然(至少目前如此)。除了编程之外,AI不会表现出同理心、道德观或对结果的关切。其后果是,尽管作为医疗设备的人工智能可能比人类医生更准确,但公众对它发生的任何错误都会更加苛责。

建立安全与信任的基础

确保高度安全、从而赢得公众信任的基础工作必须由监管机构来奠定。监管必须涵盖并分类医疗设备的整个谱系,从具有临床目的的基础AI智能可穿戴设备(如检测心律不齐)到自主手术机器人。监管细则应明确设定阈值,这些阈值将根据设备风险比例确定日益严格的标准。

医疗行业需要向消费者和医生教育AI设备的好处,以及如何最优使用以获得所声称的益处。

制造商需要通过说明文档、常见问题解答和视频演示来进行教育,以充分保证其产品安全可靠,并按预期功能运行。他们还应对其产品负责,在出现问题时为客户提供清晰的补救途径。对大多数人来说,信任需要证明,"眼见为实"。

此外,制造商在将设备投放市场前,需要向监管机构证明设备的安全性、有效性和质量。当向监管机构提供技术文件时,制造商可能需要建立技术手段来理解机制、验证和确认,同时注意AI对设备操作所做的更改。

一旦患者和用户获得理解技术的支持,他们会信任该技术吗?回到我们的诊断聊天机器人示例,如果设备包含对其数据来源的解释、患者症状与诊断匹配的程度,以及替代诊断可能正确的百分比可能性,患者可能会感到更安心并更愿意使用该设备。

不要做一个"魔法8号球"

为了建立患者信任,设备还可能解释例如AI如何在真实世界数据上进行训练、数据是否由医生审核,以及哪些医疗保健机构已批准设备的使用。一个"黑盒AI"聊天机器人在不解释其操作的情况下产生响应,可能类似于数字版的"魔法8号球"。

制造商可能希望超越强制性要求,寻求符合国际标准的额外认证,或自我认证符合良好实践原则,例如美国食品药品监督管理局(FDA)、加拿大卫生部(Health Canada)和英国药品和医疗产品监管局(Medicines and Healthcare products Regulatory Agency)之间商定的"良好机器学习实践"中的十项指导原则。

医疗保健中AI的一个常见问题是内置偏见的风险,当使用不能代表性的数据集来训练AI系统时可能导致此问题。任何偏见的证据都会迅速侵蚀来之不易的信任。

例如,基于不能反映人口种族或其他多样性的数据训练的AI医疗设备,可能会改变设备在未被代表或代表性不足的人群中的有效性。作为回应,监管机构将要求证明制造商已适当识别、测量、管理和减轻任何偏见带来的风险。

补充信息,如遵守严格的网络安全标准、维护医疗保密性和遵守数据处理原则,将进一步向患者和用户保证制造商对监管合规和高标准的承诺,这可能进一步增强对产品的信任。

对监管机构和制造商而言,鼓励医疗专业人员的信任应是一个基本目标,这既因为他们在作为最终用户的角色中,也因为他们在患者中间人的角色中。医疗专业人员不会拿患者的健康、自己的声誉甚至可能是职业生涯冒险使用不可靠的技术,因此需要有信心知道他们可以使用并推荐AI医疗设备。赢得医疗社区的信任将是实现患者群体信任的关键一步。

与所有新技术一样,年轻、更"数字化"的一代可能最初会成为早期采用者,引领人们对AI作为医疗设备可接受性的态度转变。最终,个人是否决定信任AI作为医疗设备,以及信任的程度,将由个人偏好和替代方案的获取决定。

显然,AI具有技术潜力实现巨大进步,但它在医疗保健领域的成功将取决于监管环境应对不断自我发展产品挑战的能力,以确保公众信任以同等速度前进。

【全文结束】

大健康
大健康