09:43
arXiv: DeepSeek@Fengfeng Liang, Yuechen Zhang, Jiaya Jia
精选
推荐理由：这篇论文用RoPE感知的位分配方案，在KV缓存量化上显著提升长上下文检索和推理，效果逼平fp16，值得研究量化的朋友细读。
全部 AI 动态
AI 相关资讯全量信息流
6月24日
09:43
Block-GTQ是一种针对RoPE注意力机制的KV缓存量化位分配方法，基于TurboQuant-MSE构建。它在每个层和注意力头上计算RoPE块的能量得分，通过贪心分配整数位宽。在2和3比特每维度仅量化键的实验中，Block-GTQ在10个模型上使每层平均绝对误差降低32-80%，并赢得全部367个层比较。在Llama-3.1-8B-Instruct上以K2V2配置，NIAH六任务平均从70.6提升至97.4，LongBench英文平均从36.87提升至53.31。在DeepSeek-R1-Distill-Qwen-7B上以K3V2配置，AIME 2024/2025得分51.7/37.5，接近fp16的54.2/37.9，而均匀量化降为0.0/0.0。在H800上对Qwen2.5-3B-Instruct实现3.24倍压缩，128K上下文比fp16 FlashAttention2快1.34倍，峰值内存从56.31GB降至19.85GB。
6月17日
10:15
10:15
arXiv cs.LG@Viet-Hoang Tran, Vinh Khanh Bui, Van-Hoan Trinh, Tan Lai Ngoc, Tan M. Nguyen
精选
推荐理由：这篇论文解释了为啥RoPE比Sinusoidal位置编码更受青睐——它减少了参数空间的对称性，让Transformer表达力更强。如果你好奇背后的理论，值得一看。
6月16日
20:46
AITOP6月16日 20:46
11:32
11:32
arXiv cs.AI@Arunkumar V, Manoranjan Gandhudi, Gangadharan G. R., Arun Prakash, S. Senthilkumar
推荐理由：这篇论文给出了一个不依赖真实参数对的新方法MA-SBI，用文本作为侧信道校正模拟器错误，在多个基准上比当前最好的RoPE还强，而且理论也扎实。
6月12日
12:57
AITOP6月12日 12:57
6月11日
15:28
AITOP6月11日 15:28
15:23
AITOP6月11日 15:23
15:07
AITOP6月11日 15:07
12:38
12:38
arXiv cs.AI@Boyang Li, Yulin Wu, Sizhe Xu, Nuoxian Huang, Zhonghang Yuan, Shangyi Guo, Shu Yang, Takahiro Yabe
精选
推荐理由：nD-RoPE 解决了高维位置编码缺乏统一理论框架的问题，做视觉、视频或点云 Transformer 的开发者可以直接用，能显著提升模型对空间结构的理解能力。
6月1日
10:15
10:15
arXiv cs.LG@Felipe Urrutia, Juan José Alegría, Cinthia Sanchez Macias, Jorge Salas, Cristian B. Calderon, Cristobal Rojas
推荐理由：这篇论文用严谨的实验和理论揭示了位置与符号注意力在长度泛化上的本质差异，做Transformer机制研究或长上下文优化的开发者值得细读，看完会对RoPE的几何解释有更深理解。