nclick="xtip.photoApp('jzpic',{index:'1'})" data-xphoto="jzpic" src="http://www.wetsq.com/zb_users/upload/2025/12/c7f26beb177d.jpeg" title="AI失误或无法根除——医疗应用面临何种挑战？ 第1张" alt="AI失误或无法根除——医疗应用面临何种挑战？ 第1张">
【编者按】当人工智能从帮你点外卖、陪你聊天，逐步渗透到决定你吃什么药、做何种手术时，我们是否该按下暂停键？本文作者以复杂系统研究者的视角，戳破了AI“万能论”的华丽泡沫：错误不是系统的漏洞，而是智能与生俱来的影子。从导航把你导进玉米地，到医疗诊断的致命盲区，AI的“不完美”可能正是其无法摆脱的宿命。当美国国会开始讨论让AI自主开药，我们更该冷静思考：在生命攸关的领域，究竟该让算法狂奔，还是为人类智慧留一把最后的钥匙？以下内容将带你直面AI的“不可能三角”——高效、智能与零错误，为何永远无法共存。
过去十年，AI的成功引发了失控的热情和大胆的断言——尽管用户经常遭遇AI犯下的错误。AI驱动的数字助手可能以令人尴尬的方式误解语音，聊天机器人会捏造事实，或者像我所经历的那样，基于AI的导航工具甚至把司机引进了玉米地——所有这些错误都没有被系统记录。
人们容忍这些错误，因为这项技术让某些任务变得更高效。然而，越来越多的支持者主张在错误成本极高的领域使用AI——有时仅需有限的人类监督，比如医疗保健。例如，2025年初美国众议院提出的一项法案将允许AI系统自主开具处方药。自那时起，健康研究人员和立法者一直在争论这种处方行为是否可行或可取。
如果这项或类似立法通过，这种处方开具具体将如何运作仍有待观察。但它提高了赌注：AI开发者能允许他们的工具犯多少错误？如果这些工具导致负面结果——甚至患者死亡——后果会是什么？
作为一名研究复杂系统的研究者，我调查系统的不同组成部分如何相互作用以产生不可预测的结果。我的部分工作专注于探索科学的极限——更具体地说，是AI的极限。
在过去的25年里，我参与的项目包括交通信号灯协调、官僚体系改进和逃税检测。即使这些系统可能非常有效，它们也从不完美。
特别是对于AI，错误可能是系统工作方式不可避免的结果。我实验室的研究表明，用于训练AI模型的数据的特定属性起着作用。无论研究者在改进AI模型上投入多少时间、精力和资金，这种情况都不太可能改变。
没有人——也没有任何东西，甚至AI——是完美的
正如被视为计算机科学之父的艾伦·图灵曾经说过的：“如果期望一台机器是绝对正确的，它就不可能也拥有智能。”这是因为学习是智能的重要组成部分，而人们通常从错误中学习。我在研究中看到了这种智能与绝对正确性之间的拉锯战。
在2025年7月发表的一项研究中，我和同事表明，将某些数据集完美地组织成清晰的类别可能是不可能的。换句话说，一个给定的数据集可能产生一个最低限度的错误量，这仅仅是因为许多类别的元素存在重叠。对于某些数据集——许多AI系统的核心基础——AI的表现不会比随机猜测更好。
例如，一个基于数百万只狗的数据集训练的模型，如果只记录它们的年龄、体重和身高，可能可以完美地区分吉娃娃和大丹犬。但在区分阿拉斯加雪橇犬和杜宾犬时可能会出错，因为不同品种的不同个体可能落在相同的年龄、体重和身高范围内。
这种分类被称为可分类性，我和我的学生们在2021年开始研究它。利用2008年至2020年间就读于墨西哥国立自治大学的50多万名学生的数据，我们想解决一个看似简单的问题。我们能否使用AI算法来预测哪些学生能按时完成大学学位——也就是说，根据专业不同，在开始学习后的三、四或五年内完成？
我们测试了几种用于AI分类的流行算法，也开发了我们自己的算法。没有算法是完美的；最好的算法——甚至包括我们专门为此任务开发的一个——达到了大约80%的准确率，这意味着至少每5名学生中就有1名被错误分类。我们意识到，许多学生在成绩、年龄、性别、社会经济地位和其他特征上是相同的——然而有些人会按时完成，有些人则不会。在这种情况下，没有算法能够做出完美的预测。
你可能会认为更多的数据会提高可预测性，但这通常伴随着收益递减。这意味着，例如，准确率每提高1%，你可能需要100倍的数据。因此，我们永远不会有足够的学生来显著提高我们模型的性能。
此外，学生及其家庭生活中的许多不可预测的转折——失业、死亡、怀孕——可能发生在他们大学第一年之后，这可能会影响他们是否能按时完成学业。因此，即使有无限数量的学生，我们的预测仍然会产生错误。
预测的极限
更概括地说，限制预测的是复杂性。复杂性这个词来源于拉丁语plexus，意思是交织在一起的。构成复杂系统的组成部分是相互交织的，正是它们之间的相互作用决定了它们会发生什么以及它们如何行为。
因此，孤立地研究系统的元素可能会产生关于它们以及整个系统的误导性见解。
以在城市中行驶的汽车为例。知道它的行驶速度，理论上可以预测它在特定时间会到达哪里。但在真实的交通中，它的速度将取决于与道路上其他车辆的互动。由于这些互动的细节是实时出现的，无法提前知晓，因此精确预测汽车会发生什么，只能预测未来几分钟的情况。
别拿我的健康冒险
同样的原则也适用于开具处方药。不同的病症和疾病可能有相同的症状，而患有相同病症或疾病的人可能表现出不同的症状。例如，发烧可能由呼吸道疾病或消化系统疾病引起。感冒可能引起咳嗽，但并不总是如此。
这意味着医疗保健数据集存在显著的重叠，这将阻止AI实现零错误。
当然，人类也会犯错。但当AI误诊病人时——它肯定会——情况就陷入了法律灰色地带。如果病人受到伤害，谁或什么应该负责尚不清楚。制药公司？软件开发者？保险机构？药房？
在许多情况下，对于给定的任务，人类和机器都不是最佳选择。“半人马”，或“混合智能”——即人类和机器的结合——往往比各自单独更好。医生当然可以使用AI，根据患者的病史、生理细节和基因构成，决定可能用于不同患者的药物。研究人员已经在精准医疗中探索这种方法。
但常识和预防原则表明，让AI在没有人类监督的情况下开药还为时过早。而错误可能已根植于这项技术中的事实可能意味着，在涉及人类健康的地方，人类的监督将永远是必要的。
卡洛斯·格申森是纽约州立大学宾汉姆顿分校创新学教授。
