SupraBench:首个超分子化学LLM基准发布

SupraBench: A Benchmark for Supramolecular Chemistry

精选理由

做计算化学或药物设计的团队终于有了评估LLM超分子推理能力的标准测试——SupraBench覆盖了结合亲和力预测等关键任务,想验证LLM在化学领域实用性的研究者可以直接用。

AI 摘要

超分子化学研究非共价主客体组装,但设计过程耗时且需要大量干实验验证。尽管LLM在分子结合任务上表现优异,但缺乏系统评估其超分子化学推理能力的基准。为此,研究团队与领域专家合作发布了SupraBench,包含结合亲和力预测、最佳结合物选择、溶剂识别和主客体描述四个核心任务,以及一个基于视觉的分子识别辅助任务。同时发布了SupraPMC语料库(1600万token),用于领域适应预训练。实验表明,LLM在所有任务上仍有显著提升空间,领域适应预训练在分布内回归任务上表现良好,但会牺牲严格的格式输出。

AI 翻译 · 中文

超分子化学研究非共价主客体组装,但设计过程耗时且需要大量干实验验证。尽管LLM在分子结合任务上表现优异,但缺乏系统评估其超分子化学推理能力的基准。为此,研究团队与领域专家合作发布了SupraBench,包含结合亲和力预测、最佳结合物选择、溶剂识别和主客体描述四个核心任务,以及一个基于视觉的分子识别辅助任务。同时发布了SupraPMC语料库(1600万token),用于领域适应预训练。实验表明,LLM在所有任务上仍有显著提升空间,领域适应预训练在分布内回归任务上表现良好,但会牺牲严格的格式输出。

arXiv cs.LGSupramolecular chemistry, which includes the study of non-covalent host-guest assemblies, has advanced various applications. However, designing host-guest systems remains time-consuming, requiring days of dry-lab verific