斯蒂芬·贝勒穆斯塔科夫（Stephen Belmustakov）博士最近开始了一项私人执业工作，不知为何感到“如履薄冰”。
然后他明白了原因。在他之前位于纽约市医院的工作中，他曾接受过一种名为Aidoc的新工具培训，该工具利用算法预测放射学扫描中的异常情况。而他现在工作的私人诊所并没有使用任何人工智能（AI）工具，这让他不得不独自解读影像。AI是一种拐杖吗？不，但或许是一种缓冲。贝勒穆斯塔科夫最初对在影像诊断中使用AI工具持怀疑态度，但随着时间的推移，他发现自己从即时的第二意见中获得了安慰。他在新的没有AI辅助的职位上感到不安，“因为我们可能缺少了这一层额外的检查。”
不仅如此，AI工具越来越快于受训人员发现潜在可疑区域，在医生有时间对屏幕上的内容做出反应之前就指出了问题。“这确实会影响你的学习方式，”贝勒穆斯塔科夫说，“如果工具已经告诉你结果是阳性，这会改变你看东西的方式。”
这种倾向被称为自动化偏差。也许你读过一些极端的例子，比如司机跟随全球定位系统（GPS）导航进入夏威夷、南卡罗来纳州和澳大利亚的深水区。还有悲剧性的例子，比如一位母亲在死亡谷跟随GPS导航。
虽然这些例子令人发笑，但我们不仅信任GPS，而且我们正接近信任汽车自动驾驶。在医学领域，越来越多的AI技术正在训练高度专业的临床医生信任机器。对基于决策的医疗技术的过度依赖是否不可避免？随之而来的潜在错误呢？
塔伦·卡普尔（Tarun Kapoor）博士认为这是不可避免的。作为新泽西州南部非营利性医疗系统Virtua Health的首席数字转型官，卡普尔承认这项技术仍处于初级阶段——不到4%的医院被认为是“高采用者”。“但随着这些工具以光速发展，自动化偏差将变得普遍，”他说。“这是一个需要立即进行的对话。”
几乎任何逻辑、聪明、受过教育的人——例如医生——都会说：“机器不应该做决定，我不会让它为我做决定。”
但这正是所谓的“偏差”。你甚至可能没有意识到自己对有用技术的依赖程度。
关于自动化偏差的对话可以从“这些工具如何与临床医生沟通”开始。数字医学协会（Digital Medicine Society）首席执行官詹妮弗·戈德萨克（Jennifer Goldsack）表示：“我们知道，或至少有数据信号表明，信息呈现方式至关重要。”戈德萨克说。
例如，新研究表明，临床医生对AI的信任可能取决于模型如何解释其预测。有些工具会在放射学扫描中潜在异常周围显示小方框。其他工具通过与类似病例比较或提供书面解释来证明其发现。但科学家们对临床医生如何响应不同的“可解释性方法”仍有“很大差距”。高级作者保罗·伊（Paul Yi）博士是田纳西州孟菲斯圣犹达儿童研究医院（St. Jude Children's Research Hospital）智能影像信息学主任。
“关于AI解释如何呈现给放射科医生和其他医生的研究非常有限，尽管市场上已有数百种FDA批准的用于放射学的AI产品，”伊说。作为一名放射科医生，伊与巴尔的摩约翰霍普金斯大学（Johns Hopkins University）的计算机科学家合作，研究临床医生在面对AI预测的胸部X光片异常时的表现。一些预测是错误的，AI预测的解释从简单（围绕潜在问题的小方框）到更详细（与类似病例的比较）。参与者包括220名放射科医生和非放射科医生，他们可以接受、拒绝或修改AI建议。他们还评估了模型的有用性和对它的信心水平。
“当AI出错时，非放射科医生更有可能认为这个工具很有用，而放射科医生则认为‘这太糟糕了’，”伊说。“你不知道自己不知道什么。”
无论经验如何，参与者都倾向于在解释简单而不是更详细的情况下更快同意AI。但这种提高效率可能会成为过度劳累的放射科医生的“双刃剑”，伊指出。
“如果AI正确，那很好；如果我们状态良好，那也很好。但如果AI错了，而放射科医生恰好度过了一个糟糕的夜晚，他们有点累，可能会想，‘我只点击确认，让我们继续吧。’这时事情可能会被忽视，”伊说。
为什么我们信任机器？
根据休斯顿贝勒医学院（Baylor College of Medicine）生物伦理学家和医学人类学家克里斯汀·科斯特克-奎内特（Kristin Kostick-Quenet）博士的说法，人类信任机器的冲动在某种程度上是神秘的。科学家仍在试图理解人类如何“校准对不同技术系统的信任”。
自动化偏差的研究始于约30年前，主要集中在飞行员身上，导致一些学者得出结论认为“信任在很大程度上是情境化的”，科斯特克-奎内特说。它部分取决于使用技术的人和使用技术的环境。驾驶舱中的飞行员数量、他们的经验年限以及他们对自己表现的责任感都可以影响飞行员对自动系统的信任水平。
对于医疗保健而言，具有不同专长和经验水平的临床医生经常面临高风险的决策，在压力和极大的不确定性下工作。这是一个几乎迫切需要决策支持的环境。于是，AI应运而生。
“把所有这些因素放在一起，我们自然会寻求额外的有效信息来源，”科斯特克-奎内特说。
贝勒穆斯塔科夫的经历证实了这一点。他从怀疑到依赖AI提供的第二意见。他的经历展示了将AI模型实际应用于医疗实践的复杂性。大多数提供者一直关注工具本身，以及它们是否安全、无偏见，并优于现有方法。但弄清楚如何将AI融入现实世界的情况“同样重要”的对话，卡普尔说。
Virtua Health一直在研究如何防止使用名为GI Genius的AI工具的内窥镜医生出现自动化偏差。该工具在结肠镜检查期间在可能的息肉周围显示小方框。其算法不断改进，工具在发现息肉方面变得更快。但这可能导致内窥镜医生“稍微放松警惕”，卡普尔说。因此，他的团队讨论了将工具设置为较慢的速度，以保持内窥镜医生“完全参与”。
更快的工具也可能产生相反的效果——一种反向自动化偏差——尤其是如果模型缺乏足够的证据。伊想知道临床医生是否会陷入怀疑。“你可以想象一种情况，你会觉得‘这个AI可能会让我更快，但我对其产生怀疑，实际上比使用AI前更疲惫’，”伊说。
还有AI可能出错的可能性。
贝勒穆斯塔科夫说，Aidoc“遗漏了许多重要发现，也会标记虚假阳性。”因此，临床医生浪费了时间。他不得不打电话给主治医生并解释自己不同意AI，即使“在我们心中，我们都知道计算机是错的”。
据斯坦福大学研究人员分析，法庭案件曾因医生接受错误的AI预测而提起诉讼。通常，原告声称“医生本应该注意到有理由不信任AI系统，或进行一些额外的尽职调查”，合著者尼尔·古哈（Neel Guha）说。古哈是加州斯坦福法学院的法学博士候选人，也是斯坦福大学计算机科学的博士候选人。
然而，这种“尽职调查”应包括什么仍然是一个悬而未决的问题。
考虑保护措施
随着更多研究继续揭示使用AI工具时的自动化偏差，伊正在寻找解决这一问题的方法。“我们如何围绕这个问题设定法规，并设计实验室方法以帮助减少这些问题？”他说。
这可能意味着调整模型解释其结果的方式，或改变AI对用户的描述方式。伊的研究将AI工具描述为与领域内的专家相当，这是“大多数供应商销售这些产品的常见方式”。他们声称自己的AI达到专家水平，即使证据有些争议。这可能会影响临床医生对工具预测的判断。
其他医学领域也可以提供防止自动化偏差的想法。例如，当伊在加州担任骨科手术住院医师时，他必须获得独立许可证才能使用一种称为荧光透视的成像技术。但当他转行到放射学时——这是一个“核心业务”是成像的领域——并没有这样的要求。他想知道是否可以对使用AI进行成像施加类似的要求。具有一定培训水平的放射科医生将被授权使用AI工具，而非放射科医生可能需要参加考试并获得某些证书。
最终，当AI模型得到改进时，将出现人类何时应该退居幕后的问题。这也将对临床医生的培训和实践方式作出一些调整，戈德萨克说。
“技术是无生命的物体。人类与其互动的方式是一个人类问题，而不是技术问题，”她说。“我不想看到的是，我们获得这些高性能工具，它们经常超越人类，然后仍然依赖于人类。”
(全文结束)
