一项新的倡议提供了一种评估文本生成人工智能模型如何回答化学问题的方法。其背后的研究人员表明，大型语言模型（llm）在所有主题上的表现始终优于人类化学家，他们在一份新的预印本报告中展示了他们的结果，该报告尚未经过同行评审。然而，评估也强调了这些系统的局限性，包括llm无法可靠地应用化学推理或准确评估自己的性能。该团队希望ChemBench将成为未来开发改进的人工智能系统和更强大的评估工具的“垫脚石”。
法学硕士在大量的文本库中接受训练，以预测响应人类提示的下一个逻辑单词或句子。随着它们能力的提高，化学家们开始探索如何将它们用作研究工具，例如规划合成策略，预测分子和材料性质，甚至使用外部工具自主进行实验。
然而，尽管llm的应用越来越广泛，但相对于人类化学家，开发人员对llm在化学特定任务中的实际表现知之甚少。现有的人工智能评估框架对化学问题采取了极其简单的方法，通常只测试模型使用或推断现有知识的能力。来自德国耶拿弗里德里希·席勒大学的凯文·雅布隆卡说：“例如，他们可以测试模型是否可以预测给定分子的沸点，但这还不足以真正评估一个模型是否至少是一个优秀化学家的一个好的起点。”
ChemBench由Jablonka和来自多所大学和科技公司的合作者设计，因此采用了更全面的方法，专门针对化学应用进行定制。该团队编制了2700多个问题，涵盖化学领域的8个广泛主题领域，各种问题类型旨在评估学生在知识、推理和直觉任务方面的表现。每个问题在纳入之前都由人类专家单独验证，以确定质量和难度等级。还注意确保不容易在网上找到任何问题。
这张图表显示了在ChemBench框架的一个子集中，各种llm和人类在不同主题上的表现
然后，该团队评估了31个领先模型在这个问题语料库上的表现，并将结果与19位人类专家的得分进行了对比。在所有情况下，法学硕士的表现都超过了人类化学家：领先的模型，OpenAI的01，取得了两倍于顶尖人类化学家的分数，即使是最差的模型，得分也比人类化学家的平均水平高出近50%。
美国匹兹堡卡耐基梅隆大学（Carnegie Mellon University）的化学数据科学家加布里埃尔?多斯?帕索斯?戈麦斯（Gabriel dos Passos Gomes）没有参与这项研究，他说：“他们在这里展示的东西非常了不起。”“对社区来说，一个有趣的考虑是，根据你正在做的事情，你不需要最强大的模型。”
然而，ChemBench分析了这些结果，揭示了不同主题之间模型表现的明显差异，法学硕士在一般和技术主题上得分不错，但在需要专业知识或空间化学推理（如安全和分析化学）的领域则表现不佳。
根据雅布隆卡的说法，这部分是由于这些化学领域的性质。llm不能直接解释图像，而是以名字或微笑的形式接收分子信息——这是一种机器可读的符号，其中化学结构以字母和数字的形式提供。他说：“他们不知怎么地努力将这些文本转换成他们可以推断的东西，比如对称或某些原子的连通性。”对于法学硕士来说，安全信息等专业知识也很难理解。“这类数据通常存储在PubChem和Sigma Aldrich等专业数据库中，但即使模型有工具来搜索这些来源，工具的使用仍然是不可靠的，”Jablonka补充道。
但是，尽管它们在安全方面的整体表现不佳，但最好的车型实际上能够通过德国的专业安全认证——这是一个令人担忧的结果，雅布隆卡认为，这突显了我们用考试来衡量性能的长期问题。多斯·帕索斯·戈麦斯说：“这就提出了一个问题，回忆或记忆与推理和理解在多大程度上是一个好分数。”“我认为我们必须好好审视我们如何对学生和培训进行评估，以及我们可以在哪里将这些工具整合到评估过程中。”
来看看ChemBench团队设置的一些示例问题吧：
.question{显示：无；边距：20px 0；} .question。激活{显示：块；} .question p {font-family: var（——sans-serif）；字体大小:1.2快速眼动;行高:1.6快速眼动;边距：0 0 10 0；} .resultMessage {font-family: var（——sans-serif）；字体大小:1.2快速眼动;行高:1.8快速眼动;} .correct-option{颜色：绿色；粗细:800;} .incorrect-option{颜色：红色；粗细:400;} .result {font- size：粗体；字体大小:1.2 em;颜色:绿色;} .question-status {font- height：粗体；margin-left: 10 px;} label {font-family: var（——sans-serif）；字体大小:1快速眼动;行高:1.6快速眼动;保证金:0;} .navigation-buttons {margin-top: 20px；} sup{顶部：- 0.45 em；}
1. 下列哪一种分析方法最适合对含有各种金属的固体样品进行调查分析？
A) x射线荧光分析
B)差分脉冲极谱
C)火焰原子吸收光谱
D)火焰气相色谱法nisation探测器
E)氢化物发生原子吸收光谱
2. 想象一个早期的虚拟筛选活动设置（考虑简单的方面，如口服有效性和小分子谱，但没有其他模式，如共价或双功能）。以下两位候选人中，您更倾向于哪一位获得进一步发展？
一)
B)
3. 化合物[ZrF7]3 -中金属的氧化值是多少？
1)
B) 2
C) 3
D) 4
4. 对于核磁共振分析，您需要在强酸中消化金属有机框架以去除连接体并保持金属簇完整。为什么要选择HF而不是HCl呢？
一)F- - - - - -形成稳定的boNDS给我tal离子
B) HF比HCl具有更好的水溶性
C) HF的沸点比HCl高
D) HF是一种弱于HCl的酸
5. 描述下面反应的反应机理是什么
一个)1
B) Ecb
C)年代N1
D)年代N2
6. Born-Oppenheimer （BO）近似法广泛应用于计算化学，但其精度因系统而异。在以下选项中，波恩-奥本海默近似可能最不适用于哪个系统？
C)60
B) CH4
C) Fe(CO)5
D) H2+
E)氯化钠
7. 关于不同类型的理想反应堆，下列哪个陈述是正确的？
A)在间歇式反应器中，组合物均匀混合，并在整个反应器和出口保持不变
B)在间歇式反应器中，流体通过反应器，前后进入的流体没有混合
C)在混流反应器中，组分随时间而变化，但各处都是均匀的E在反应堆内
D)在塞流反应器中，流体以单流方式流过反应器，没有混合，也没有超车
8. 品多洛尔和心得安是（相对非选择性的）β1和β2肾上腺素受体拮抗剂。然而，品多洛尔是部分激动剂，而心得安是纯拮抗剂。由此可以得出什么结论？
A)品多洛尔比心得安有更大的治疗范围
B) Pindolol有一个lo比心得安的半衰期短
C) Pindolol具有内在活性
D)品多洛尔比心得安更亲脂
E)品多洛尔比心得安更有效
该团队还要求模型对其答案提供置信度估计。其中一些，比如Anthropic的《克劳德·十四行诗》，给出了相当可靠的预测，而另一些则给出了看似随机的结果。
Jablonka指出，这种差异是化学家应该如何使用和信任人工智能生成的答案的一个重要考虑因素，可能是这些模型训练后一致的结果。“在训练之后，你更新模型，使其与人类的偏好保持一致，但这个过程破坏了模型答案和准确性估计之间的校准。”由于人类倾向于选择决定性的答案，这种训练后的更新会鼓励模型夸大他们对答案的信心，并对自己的准确性做出误导性的估计。
这些见解对于未来模型和框架的设计至关重要，如ChemBench，将成为有价值的工具。戈麦斯说：“这是一项考虑得非常周到、做得非常好的工作。”“我坚信，让模型更强大、更有能力的前进之路是在模型中加入适当的推理。但如果我们不能衡量这一点，我们就会不断看到他们似乎在改善的海市蜃楼，而实际上并没有。”
对于Jablonka来说，ChemBench只是一个开始，团队已经在进行后续工作，将多模态问题纳入框架。他说：“这并不完美，但我们希望这将帮助开发人员建立更可靠的化学模型，并优化那些仍然表现不佳的部分。”
查看完整档案
