12:34arXiv cs.AI@Xinni Zhang, Zijing Liu, He Cao, Yu Li, Irwin King精选针对SMILES字符串的Transformer模型存在局部性缺陷:标准字符级分词会破坏化学上有意义的基团,迫使模型重复学习局部语法而忽略长程依赖。MolGram通过条件n-gram记忆模块,将局部字符串模式映射为可学习的嵌入向量,并动态注入隐藏状态,在不破坏标准分词器的情况下解决该问题。在无条件分子生成、正向反应预测和单步逆合成三个任务上,MolGram一致提升性能,且仅用1/3参数即可超越基线模型。该工作表明,显式局部模式记忆是一种高效的归纳偏置,尤其适合化学信息学场景。论文分子语言模型n-gram记忆SMILES化学信息学高效归纳偏置推荐理由:做分子生成或逆合成预测的团队,MolGram用更少参数就能超越3倍大模型,值得在自家任务上试试。原文