AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

SynthBench

共 1 条相关 AI 资讯
8月4日
12:09
12:09官方账号arXiv cs.LG@Brandon Wang, Andrei S. Tyrin, Daniil A. Boiko
onepot-Bench 0 是面向湿实验室合成化学能力的语言模型评测基准,包含三项子评估。ChemAbacus 考查无需工具的化学信息学素养与数值推理;SynthRefusal 评测模型对苯二氮卓类、受控药物及设计药物等目标的拒绝与安全行为;SynthBench 使用实验室私有实验数据评测反应结果预测和催化剂选择。该基准旨在补充现有评测中缺失的物理实验室可靠决策能力。
论文onepot-BenchChemAbacusSynthBench

推荐理由:想测语言模型能不能真做化学实验?onepot-Bench 0 用私有数据考反应预测和拒毒能力,比公开题更贴近湿实验室。
原文
精选全部日报登录