想象一下，一个人工智能模型可以完全独立地与计算机合作。好吧，不再想象，因为这样的人工智能已经到来。周二，Anthropic宣布其最新一代Claude人工智能模型可以使用电脑——就像你我一样。这款名为Claude 3.5 Sonnet的人工智能已经进入测试模式，供开发人员通过API使用。
Anthropic将其吹捧为“第一个在公测阶段提供计算机使用的前沿人工智能模型”，开发人员可以通过多种方式对Claude 3.5 Sonnet进行编码，使其与计算机协同工作。通过使用API编程的产品或服务，你可以告诉人工智能“看”电脑屏幕，在屏幕上移动光标，点击按钮，并通过虚拟键盘输入文本。这个想法是模仿你与自己的电脑互动的方式。
目前，新的人工智能显然还处于实验阶段，有时很麻烦，容易出错。然而，Anthropic发布了新的测试版，专门为了从开发者那里获得反馈，这样它就可以随着时间的推移改进模型。
为什么人工智能使用电脑是有用的？Anthropic预测并解决了这个问题。
“大量的现代工作都是通过电脑完成的，”Anthropic说。“使人工智能能够像人类一样直接与计算机软件交互，将解锁大量应用程序，这是当前一代人工智能助手根本无法实现的。”
开发人员和用户如何利用与计算机协同工作的人工智能？
Anthropic解释说：“我们不是制作特定的工具来帮助克劳德完成个人任务，而是教它一般的计算机技能——允许它使用广泛的标准工具和为人类设计的软件程序。”“开发人员可以使用这种新生的能力来自动化重复的过程，构建和测试软件，并进行像研究这样的开放式任务。”
Anthropic表示，已经有几家公司利用Claude 3.5 Sonnet在计算机方面的实力，包括Asana、Canva、Cognition、DoorDash、Replit和The Browser Company。例如，软件开发和部署平台Replit正在使用这些功能来评估其Replit Agent产品的应用程序。
根据Anthropic的说法，编程克劳德学习与计算机一起工作，特别是看着屏幕并采取某些动作作为回应，涉及大量的试验和错误。
使用计算机需要能够看到和解释图像，例如计算机屏幕上的图像。它还包括根据屏幕上显示的内容确定如何以及何时运行特定操作的能力。为了满足这些要求，Claude 3.5 Sonnet查看屏幕截图，显示您正在查看的内容。然后，AI计算垂直和水平像素的数量，以确定光标移动的位置。这项技能对于AI发出鼠标命令的能力至关重要。
克劳德到目前为止表现如何？
在OSWorld的基准测试中，评估人工智能模型使用计算机的尝试，克劳德3.5十四行诗得分为14.9%。Anthropic表示，尽管这远低于人类70%-75%的水平，但它几乎是同一类别中排名第二的人工智能模型7.7%的两倍。
这种由人工智能使用计算机的尝试仍处于早期阶段。因此，克劳德不能执行更“高级”的电脑任务，比如拖拽窗口或放大屏幕。此外，克劳德通过查看和汇总屏幕截图来与电脑一起工作的方式意味着它可能会错过某些动作和通知。
“我们预计电脑的使用将迅速提高，变得更快、更可靠，对用户想要完成的任务更有用，”Anthropic说。“对于那些没有软件开发经验的人来说，它也会变得更容易实现。在每个阶段，我们的研究人员都将与我们的安全团队密切合作，确保克劳德的新能力伴随着适当的安全措施。”
克劳德3.5十四行诗现在对任何人都可用。开发人员可以使用Anthropic API、Amazon Bedrock和Google Cloud的Vertex AI的计算机使用beta版来构建应用程序。
