11:43
官方账号arXiv cs.LG@David Ming Segura, Jeremy Goumaz, Joshua W. Sin, Bojana Ranković, Philippe Schwaller
推荐理由：CheMatE让模型同时懂SMILES和化学文献，两阶段训练后在分子性质预测和科学理解任务上都不输基线。
分子表示
共 1 条相关 AI 资讯
8月5日
11:43
CheMatE是一个基于ModernBERT的化学嵌入模型，在同一个向量空间中联合表示SMILES分子结构和化学领域自然语言。训练分两步：先在大规模SMILES标注科学文档上继续掩码语言建模，语料来自FineWeb和ChemPile，分别含10.4B和11.5B token；再用Multiple Negative Ranking Loss进行Matryoshka对比学习。模型在分子性质预测和科学语言理解任务上测试，效果与专用化学模型和通用语言模型基线相当。