#注意力机制
一篇改注意力机制的论文：value 不再做投影，改查 token 记忆表，推理还能省显存，做模型结构的可以看看。
LoGo让模型智能决定哪些token需要全局注意力，大幅提升长文本处理效率，比传统Transformer更聪明。
论文提出了 Surv-IPTB，用注意力机制做个体治疗获益估计，比传统 T-learner、S-learner 在复杂非线性数据上更稳，代码已开源。
想看MLA到底怎么工作的？这篇论文用114M模型做实验，发现cKV只记内容不记位置，还能省81%缓存，归纳头也全挤在一层，挺有意思的。
这篇论文把稀疏和低秩两种思路拧在一起，解决Transformer的长序列瓶颈。不用算完整的注意力矩阵，就能同时抓住局部和全局信息。
Moonshot AI 把 2.8 万亿参数的 Kimi K3 开源了，用了新注意力机制，还有 1M 上下文，直接看技术细节就对了。
这篇论文提出了一个聪明的点子：让注意力机制像人一样，在关键地方用更多计算资源，其他地方粗略处理。复杂度降低但精度不降，做推理优化的同学可以关注。
这篇论文解释了为啥RoPE比Sinusoidal位置编码更受青睐——它减少了参数空间的对称性，让Transformer表达力更强。如果你好奇背后的理论，值得一看。
长上下文训练一直是显存大户，Untied Ulysses 让单节点就能跑 3M token，做 LLM 训练和推理优化的团队值得关注，能省下不少 GPU 预算。
做 LLM 推理优化的团队可以直接参考这个设计——砍掉一半 KV 缓存但几乎不损质量，值得在自家模型上试试。
做机器人安全控制的团队终于有了一个轻量级方案——VLA模型自带的注意力头就能当安全过滤器用，无需额外训练或重模型，动态场景效果还更好，值得点开看实现细节。
做单细胞转录组分析的团队终于有了一个能同时提升性能和可解释性的Transformer方案——scTransformer把基因调控先验直接嵌入注意力机制，比黑盒模型更可信，建议做生物信息学基础模型的研究者点开看看。