GRAM

GRAM（通常指n-gram或Gram矩阵）在人工智能领域近期展现出多维度的发展。一方面，传统n-gram与现代语言模型结合，例如MolGram通过注入局部n-gram记忆增强了分子语言模型对化学任务的处理能力（MolGram：为分子语言模型注入局部n-gram记忆，提升化学任务性能）。另一方面，Gram矩阵在深度学习理论中用于分析表示层次，如一项研究通过学习动力学揭示了权重诱导的层级Gram度量层次结构，为理解模型表征提供了新视角（学习动力学揭示权重诱导的层级Gram度量层次结构）。在安全性领域，Gram框架被提出用于自动化对齐审计，评估AI代理的破坏倾向，助力AI治理（Gram框架：自动化对齐审计评估AI代理破坏倾向）。此外，基于词共现的层级概念几何分析显示，word2vec和Gemma 2B的谱分析中涌现出类似Gram的结构（层级概念几何从词共现中涌现：word2vec与Gemma 2B的谱分析）。值得注意的是，一个10M参数的GRAM模型通过并行推理路径，在性能上超越了3倍大小的对手，体现了高效架构的潜力（10M参数模型GRAM通过并行推理路径超越3倍大小对手）。当前焦点在于如何平衡GRAM的效能与复杂性，例如在分子生成、模型解释和AI安全中的应用。未来观察点包括：GRAM能否进一步扩展到多模态任务，以及其在低资源场景下的泛化能力。