作者：卡洛斯·格申森（Carlos Gershenson）| 纽约州立大学宾汉姆顿分校创新学教授
在过去十年中，AI的成功引发了无节制的热情和大胆的主张——尽管用户经常遇到AI产生的错误。一个AI驱动的数字助理可能会以令人尴尬的方式误解某人的语音，聊天机器人可能会"幻觉"出事实，或者，正如我所经历的，基于AI的导航工具甚至可能会引导司机穿过玉米地——而且这些系统都不会意识到这些错误。
人们容忍这些错误，因为该技术使某些任务更加高效。然而，越来越多的支持者主张在错误成本高的领域（如医疗保健）使用AI——有时甚至只有有限的人工监督。例如，2025年初在美国众议院提出的一项法案将允许AI系统自主开处方药。自此，健康研究人员和立法者一直在辩论这种处方是否可行或可取。
如果这项或类似立法获得通过，这种处方将如何具体运作仍有待观察。但这提高了AI开发者可以允许其工具犯多少错误的门槛，以及如果这些工具导致负面结果——甚至患者死亡——的后果会是什么。
作为一名研究复杂系统的学者，我研究系统不同组成部分如何相互作用以产生不可预测的结果。我的部分工作专注于探索科学——更具体地说是AI——的局限性。
在过去的25年中，我参与了包括交通信号灯协调、改进官僚机构和逃税检测等项目。即使这些系统可以非常有效，它们也永远不完美。
特别是对于AI来说，错误可能是系统工作方式不可避免的后果。我的实验室研究表明，用于训练AI模型的数据的特定属性起到了一定作用。无论研究人员在改进AI模型上投入多少时间、精力和资金，这种情况都不太可能改变。
没有人——也没有任何事物，即使是AI——是完美的
正如被誉为计算机科学之父的艾伦·图灵（Alan Turing）曾经说过的："如果一台机器被期望是无错的，它就不可能是智能的。"这是因为学习是智能的基本组成部分，而人们通常从错误中学习。我在研究中看到了这种智能与无错性之间的拉锯战。
在2025年7月发表的一项研究中，我和我的同事表明，将某些数据集完美地组织成清晰的类别可能是不可能的。换句话说，由于许多类别的元素重叠，给定的数据集可能会产生最低限度的错误。对于某些数据集——许多AI系统的核心基础——AI的表现不会比随机猜测更好。
例如，一个在数百万只狗的数据集上训练的模型，如果只记录它们的年龄、体重和身高，可能能够完美准确地区分吉娃娃和大丹犬。但由于不同品种的个体可能落在相同的年龄、体重和身高范围内，它可能会在区分阿拉斯加马拉缪特犬和杜宾犬时出错。
这种分类被称为"可分类性"（classifiability），我和我的学生从2021年开始研究它。我们使用了2008年至2020年间在墨西哥国立自治大学（Universidad Nacional Autónoma de México）就读的50多万名学生的数据，想要解决一个看似简单的问题：我们能否使用AI算法来预测哪些学生会按时完成大学学业——即根据专业，在开始学习后的三、四或五年内完成？
我们测试了几种用于AI分类的流行算法，并开发了自己的算法。没有一种算法是完美的；最好的算法——即使是我们专门为此任务开发的——准确率也只有约80%，这意味着至少1/5的学生被错误分类。我们意识到，许多学生在成绩、年龄、性别、社会经济地位和其他特征方面完全相同——但有些人会按时完成学业，而有些人则不会。在这种情况下，没有一种算法能够做出完美的预测。
你可能会认为更多数据会提高可预测性，但这通常会带来收益递减。这意味着，例如，每提高1%的准确率，你可能需要100倍的数据。因此，我们永远不会有足够的学生来显著改善我们模型的性能。
此外，学生及其家庭生活中许多不可预测的转折——失业、死亡、怀孕——可能会在他们大学第一年后发生，可能影响他们是否能按时完成学业。因此，即使有无限数量的学生，我们的预测仍会产生错误。
预测的局限性
更广泛地说，限制预测的是复杂性。复杂性（complexity）一词来自拉丁语plexus，意为交织。构成复杂系统的各组成部分是相互交织的，正是它们之间的相互作用决定了它们会发生什么以及它们如何行为。
因此，孤立地研究系统的元素可能会产生关于它们——以及整个系统——的误导性见解。
以在城市中行驶的汽车为例。知道它行驶的速度，理论上可以预测它在特定时间会到达哪里。但在实际交通中，它的速度将取决于与道路上其他车辆的互动。由于这些互动的细节在当下才显现，无法提前预知，因此只能在未来几分钟内准确预测汽车会发生什么。
关乎健康，不容有误
这些相同的原理也适用于开处方药。不同的状况和疾病可能有相同的症状，而患有相同状况或疾病的人可能表现出不同的症状。例如，发烧可能由呼吸道疾病或消化系统疾病引起。感冒可能会引起咳嗽，但并不总是如此。
这意味着医疗保健数据集有显著的重叠，这将阻止AI做到无错误。
当然，人类也会犯错误。但当AI误诊病人时（它肯定会），情况就陷入了法律困境。如果病人受伤，不清楚谁或什么应该负责。是制药公司？软件开发者？保险公司？还是药店？
在许多情况下，人类和机器都不是特定任务的最佳选择。"半人马"（Centaurs），或"混合智能"——即人类和机器的结合——往往比单独的任何一方都更好。医生当然可以使用AI来决定针对不同患者的潜在药物，这取决于他们的病史、生理细节和基因构成。研究人员已经在精准医学中探索这种方法。
但常识和预防原则表明，AI在没有人工监督的情况下开处方药还为时过早。而且，错误可能是技术中固有的这一事实可能意味着，在关乎人类健康的情况下，人工监督将始终是必要的。
【全文结束】
