精选理由
做分子生成或逆合成预测的团队，MolGram用更少参数就能超越3倍大模型，值得在自家任务上试试。
针对SMILES字符串的Transformer模型存在局部性缺陷：标准字符级分词会破坏化学上有意义的基团，迫使模型重复学习局部语法而忽略长程依赖。MolGram通过条件n-gram记忆模块，将局部字符串模式映射为可学习的嵌入向量，并动态注入隐藏状态，在不破坏标准分词器的情况下解决该问题。在无条件分子生成、正向反应预测和单步逆合成三个任务上，MolGram一致提升性能，且仅用1/3参数即可超越基线模型。该工作表明，显式局部模式记忆是一种高效的归纳偏置，尤其适合化学信息学场景。
AI 翻译 · 中文
针对SMILES字符串的Transformer模型存在局部性缺陷：标准字符级分词会破坏化学上有意义的基团，迫使模型重复学习局部语法而忽略长程依赖。MolGram通过条件n-gram记忆模块，将局部字符串模式映射为可学习的嵌入向量，并动态注入隐藏状态，在不破坏标准分词器的情况下解决该问题。在无条件分子生成、正向反应预测和单步逆合成三个任务上，MolGram一致提升性能，且仅用1/3参数即可超越基线模型。该工作表明，显式局部模式记忆是一种高效的归纳偏置，尤其适合化学信息学场景。
Transformer-based language models for SMILES strings suffer from a locality gap: standard character-level tokenization fragments chemically meaningful motifs, forcing models to repeatedly learn local syntax at the expens…