Event ·Single source

Delta N-gram:无需反向传播的模型 N-gram 记忆持续写入方法

Delta N-gram 提出一条 forward-only 的写入路径,把证据写进模型原生哈希 N-gram 表的稀疏补丁 Δ,预训练表 T^0 完全不被修改。清空 Δ 即可恢复原始模型,写入只需前向传播,不需要反向传播。在 0.6B 原型上,第二次写入后问答仍记住 16/16 条事实,而在线梯度写入只剩 2-4/16。在 Qwen3.8-Flash-Next 上,delta writer 在干扰文章后仍保留 70% 的记忆,plain writer 为 54%;3.5 万次连续写入后准确率仅变化 -0.26/-0.52pp,而梯度更新为 -7.29pp。

Current read

论文提出往模型 N-gram 表里“只前向写入”新知识,不用反传,删掉补丁就能还原原模型,持久性比梯度写入强很多。

2 sources38° AI heatLast updated 2026/10/22 11:42:49

Evidence

2 sources
Primary sourcearXiv cs.LG
View source
Related source 1Gorden Sun
View source

Conflict check

Dedup data only shows that these sources discuss the same event, not that they agree. There is no structured supporting or refuting evidence yet, so no conflict is inferred automatically.