（对话网）在过去的十年中，AI的成功引发了不受约束的热情和大胆的断言——尽管用户经常体验到AI所犯的错误。一个由AI驱动的数字助手可能会以令人尴尬的方式误解某人的话语，聊天机器人可能会"幻觉"出事实，或者，正如我所经历的，一个基于AI的导航工具甚至可能引导司机穿过玉米地——所有这些错误都不会被系统识别。
人们容忍这些错误，因为这项技术使某些任务更加高效。然而，越来越多的支持者主张在错误代价高昂的领域（如医疗保健）使用AI——有时只有有限的人工监督。例如，2025年初在美国众议院提出的一项法案将允许AI系统自主开具处方药。自此，健康研究人员和立法者一直在辩论这种处方是否可行或可取。
如果此类法案通过，具体如何实施尚不得而知。但这提高了AI开发者可允许其工具犯错的门槛，以及当这些工具导致负面结果——甚至患者死亡时的后果严重性。
作为一名研究复杂系统的学者，我探究系统不同组成部分如何交互产生不可预测的结果。我的工作部分聚焦于探索科学的局限性——更具体地说，是AI的局限性。
在过去的25年里，我参与的项目包括交通信号协调、改进官僚体系和逃税检测。即使这些系统可能非常有效，它们也永远不可能完美。
特别是对于AI，错误可能是系统工作方式不可避免的后果。我的实验室研究表明，用于训练AI模型的数据的特定属性起了关键作用。无论研究人员投入多少时间、精力和资金来改进AI模型，这种情况都不太可能改变。
没有人——也没有任何事物，包括AI——是完美的
被公认为计算机科学之父的艾伦·图灵(Alan Turing)曾说过："如果一台机器被期望完美无缺，它就不可能是智能的。"这是因为学习是智能的基本组成部分，而人们通常从错误中学习。我在研究中观察到这种智能与完美无缺之间的拉锯战。
在2025年7月发表的一项研究中，我和同事们证明，将某些数据集完美地组织成清晰类别可能是不可能的。换句话说，给定数据集可能产生最低限度的错误，仅仅因为许多类别的元素相互重叠。对于某些数据集——许多AI系统的核心基础——AI的表现可能不会优于随机猜测。
例如，一个基于数百万犬只数据集训练的模型，如果只记录它们的年龄、体重和身高，可能会非常准确地区分吉娃娃和大丹犬。但它可能在区分阿拉斯加雪橇犬和杜宾犬时出错，因为不同品种的个体可能落在相同的年龄、体重和身高范围内。
这种分类被称为"可分类性"(classifiability)，我和我的学生从2021年开始研究它。我们使用了2008年至2020年间在墨西哥国立自治大学(Universidad Nacional Autónoma de México)就读的50多万名学生的数据，希望解决一个看似简单的问题：我们能否使用AI算法预测哪些学生会按时完成大学学业——即根据专业不同，在开始学习后的三年、四年或五年内完成？
我们测试了几种AI中常用的分类算法，并开发了自己的算法。没有一种算法是完美的；表现最好的算法——甚至是我们专门为这项任务开发的算法——准确率约为80%，这意味着至少1/5的学生被错误分类。我们发现，许多学生在成绩、年龄、性别、社会经济地位和其他特征方面完全相同——但有些人会按时毕业，有些人则不会。在这种情况下，没有任何算法能够做出完美预测。
你可能会认为更多数据会提高可预测性，但这通常伴随着边际收益递减。这意味着，例如，准确率每提高1%，你可能需要100倍的数据。因此，我们永远不会有足够的学生数据来显著提高模型性能。
此外，学生及其家庭生活中许多不可预测的变化——失业、死亡、怀孕——可能在大学第一年后发生，很可能影响他们是否能按时毕业。因此，即使有无限数量的学生数据，我们的预测仍会产生错误。
预测的局限性
更一般地说，限制预测的是复杂性。"复杂性"一词源于拉丁语"plexus"，意为交织。构成复杂系统的各组成部分是相互交织的，它们之间的相互作用决定了它们会发生什么以及如何表现。
因此，孤立地研究系统元素可能会产生关于它们——以及整个系统——的误导性见解。
以在城市中行驶的汽车为例。理论上，知道它行驶的速度，可以预测它在特定时间会到达哪里。但在实际交通中，它的速度将取决于与道路上其他车辆的交互。由于这些交互的细节在瞬间产生且无法提前预知，因此只能在未来几分钟内准确预测汽车会发生什么。
别拿我的健康开玩笑
这些原则同样适用于处方药开具。不同的病症可能有相同的症状，而患有相同病症的人可能表现出不同的症状。例如，发烧可能是由呼吸道疾病或消化系统疾病引起的。感冒可能会引起咳嗽，但并不总是如此。
这意味着医疗保健数据集存在显著重叠，这将阻止AI做到零错误。
当然，人类也会犯错。但当AI误诊患者时——它肯定会这样——情况就会陷入法律困境。如果患者受伤，不清楚谁或什么应承担责任。是制药公司？软件开发商？保险公司？还是药店？
在许多情况下，对于特定任务，人类和机器都不是最佳选择。"半人马"(Centaurs)，或称"混合智能"——即人类和机器的结合——往往比各自单独使用效果更好。医生当然可以利用AI来决定根据不同患者的病史、生理细节和基因构成使用哪些潜在药物。研究人员已经在精准医学中探索这种方法。
但常识和预防原则表明，AI在没有人工监督的情况下开具药物还为时过早。而且，错误可能已内置于技术中这一事实可能意味着，当人类健康受到威胁时，人类监督将始终是必要的。
【全文结束】
