作者:Prateek Tripathi
最近人工智能应用的迅猛增长证明了这项技术的效用似乎是无穷无尽的。然而，随着效用的增加，监管的责任不可避免。世界各地的政府和政策制定者一直在匆忙地建立监管机制和框架，考虑到这项技术的破坏性和潜在危险性，这种日益增长的紧迫感当然是可以理解的。然而，在我们讨论监管之前，需要回答一个更重要的问题:人工智能是如何工作的?
虽然人工智能已经存在了很长时间，但在大多数情况下，它都潜伏在背景中。随着生成式人工智能模型(尤其是ChatGPT)的出现，这项技术成为了焦点，它真正推动了事情的发展。这进一步催生了微软的必应聊天、谷歌的巴德以及其他各种所谓的“聊天机器人”。所有这些生成式人工智能系统都基于大型学习模型(llm)，属于机器学习(ML)的范畴。
图1:构建、培训和部署机器学习。来源:Wong等人(2021)。
机器学习分三步进行:首先，我们有一个算法，它列出了一组过程。其次，该算法在经过大量“训练数据”后学会识别模式。“一旦算法筛选了足够的数据，我们就可以最终部署机器学习模型，比如ChatGPT。如果这个过程看起来很熟悉，那是因为深度学习本质上是受到人类智能理论的启发。类似于人类智能的一部分依赖于通过实例学习，然后将其推断到新的体验，人工智能以同样的方式学习。但就像我们无法回忆起是什么确切的例子激发了我们对特定概念的理解一样，人工智能也无法告诉我们是什么特定的数据或输入导致了特定的决策。因此，人工智能本质上是一个“黑盒”，这意味着我们输入输入并获得一定的输出，但我们无法检查产生输出的系统代码或逻辑。因此，在许多情况下，法学硕士的行为方式的确切原因，以及支撑其行为的机制，都不为人所知，甚至对他们自己的创造者也是如此。
法学硕士本身就是一项昂贵的工作，需要处理大量的数据。这就是为什么在过去十年中，工业界在创建机器学习模型方面超过了学术界。不同之处在于，虽然学术界对发布其模型的源代码更加开放，但这与公司实体的情况不同。OpenAI的ChatGPT等应用程序的代码目前还没有公开，未来也几乎没有机会公开。
机器学习系统的三个组成部分中的任何一个都可以隐藏起来，或者放在一个黑盒子里。通常情况下，算法是公开的，这使得把它放在黑盒里不太有效。因此，为了保护他们的知识产权，人工智能开发者经常把模型放在一个黑盒子里。软件开发人员采用的另一种方法是模糊用于训练模型的数据——换句话说，把训练数据放在一个黑盒子里。
使用黑盒方法会导致许多问题。用于训练人工智能模型的数据集的潜在缺陷被掩盖了。这进一步导致缺乏问责制。例如，考虑一个ML模型确定一个人没有资格获得银行贷款。如果使用的算法是在一个黑盒子里，那么这个人就没有办法找出他们被拒绝的原因，因此，他们基本上无法纠正它们。
黑盒方法还使ML模型本身不可预测，并且在获得不需要的结果时难以修复。这可能会造成潜在的致命后果，尤其是在军事领域。已经有过这样的例子。例如，据报道，美国空军进行了一次模拟测试，其中一架人工智能无人机被命令摧毁敌人的防空系统，并最终攻击了任何干扰该命令的人。
从历史上看，监管新兴技术(例如互联网)的核心问题一直是它们的不可预测性，这源于一个事实，即根本无法知道社会将如何利用它们。然而，我们所拥有的是对它们如何工作的坚定理解。人工智能的问题是双重的。不仅存在前面提到的技术将如何发展的不确定性问题，而且由于缺乏对其工作原理的基本理解，这一问题更加复杂。例如，当谈到ChatGPT时，社会基本上遵循了一种黑盒方法，因为我们忽略了它的内部工作原理。
对任何技术进行监管的最基本要求是对其实际功能的充分理解。当涉及到人工智能，特别是生成型人工智能时，这是一个基本问题。最近OpenAI的剧变进一步证实了这一点，人们对这项技术的快速发展产生了伦理担忧。如果所讨论的对象没有得到充分理解，监管就不可能有效。围绕人工智能的不确定性和神秘感在很大程度上源于对其实际工作的大规模无知，这需要尽快纠正，以便未来的任何监管都能有效。
虽然今年早些时候通过的欧盟人工智能法案确实规定了透明度和问责制的必要性，特别是在高风险人工智能系统的情况下，但目前尚不清楚谁将直接负责实施这些义务，以及在多大程度上负责。它在与训练数据相关的条款中也足够模糊，这些数据可能被OpenAI等大型科技公司利用。
直到最近，机器学习模型被用于在线广告和网络搜索等低风险应用程序，它们的内部工作并没有太大的影响。然而，随着最近生成式人工智能的蓬勃发展，它们已经渗透到我们生活的几乎方方面面，打开引擎盖，看看黑盒子里是什么变得至关重要。
可解释的模型提供了一个更透明的，可能是一个更道德的替代黑盒模型。这些也被称为“玻璃盒”模型。人工智能玻璃盒是一个算法、训练数据和模型都可供任何人查看的系统。此外，“可解释的人工智能”(XAI)领域正在努力开发算法，虽然不一定是玻璃盒子，但至少可以更好地为人类所理解。像LIME(局部可解释模型不可知论解释)和SHAP (Shapley可加性解释)这样的XAI技术是用来增强AI系统可解释性的一些工具。
人们普遍认为，最准确的ML和深度学习模型本质上必须是不可预测和复杂的。这个假设已经被多次证明是错误的，比如2018年举行的可解释机器学习挑战赛。在一些不同的情况下，可解释模型和玻璃盒模型已被证明与黑盒模型一样有效。尽管《欧盟人工智能法案》是朝着正确方向迈出的一步，监管机构对大型科技公司的审查也在不断加强，但在这个方向上还需要付出更多努力。如果相关技术隐藏在黑盒子后面，无论是训练数据还是算法本身，任何人工智能监管都很难有效，而且非常不切实际。
a
关于作者:Prateek Tripathi是观察家研究基金会的研究助理。来源:本文由观察家研究基金会发布
