#RoPE

共 10 条 · 7 天 1 条 · 30 天 3 条

长上下文 2 ALiBi 1 ATFlash 1 CME 295 1 FlashAttention 1 GPT 1 KV缓存 1 MoSAR 1

信息流里打上「RoPE」标签的资讯、产品与论文，按刊登时间排，新的在上。

10月5日

技巧 Agent 与开发者21:05

斯坦福新课 CME 295 开讲：138 页讲义拆解从 Transformer 到 GPT 的演进

斯坦福 138 页 LLM 讲义免费公开，从缩放定律讲到 RoPE 和 GQA，想系统补基础的直接看这份。

#CME 295 #Transformer #GPT #RoPE

shao__meng@shao__meng原文

9月30日

论文 Agent 与开发者10:26

WUSH-KV: KV缓存量化新方法

WUSH-KV用数据自适应变换降低KV缓存量化误差，2-bit性能超越OSCAR，适合长上下文推理场景。

#WUSH-KV #KV缓存 #量化 #SGLang

arXiv cs.LG@Jiale Chen 等 5 人原文

9月28日

论文 Agent 与开发者10:01

MoSAR：用语义注意力混合学习自适应注意力几何

一篇注意力机制新论文，MoSAR 让模型自己学注意力的距离衰减方式，500M 参数实验里困惑度赢过 RoPE 和 ALiBi，长文本方向的可以看看。

#MoSAR #注意力机制 #长上下文 #RoPE

arXiv cs.AI@Michele Paolicelli 等 5 人原文

8月5日

论文多源确认09:56

ATFlash：按 RoPE 波长分窗的注意力剪枝方法

ATFlash 在 1M token 上下文把 Qwen2.5-7B 提速 1.31 倍，精度不掉，而且能直接叠加现有稀疏方法。

#ATFlash #RoPE #FlashAttention #长上下文

事件专题

arXiv: OpenAI@Shun-ichiro Hayashi 等 4 人4 个信源在谈原文

7月9日

论文精选09:55

数据影响RoPE频率使用的机制：从位置尺度匹配到长度泛化

这篇论文解释了为什么RoPE在训练中某些频率更常用，还教你用频率缩放来扛更长上下文，很实用。

#RoPE #位置编码 #长度泛化 #频率匹配

arXiv cs.LG@Xinyi Wu 等 3 人原文

6月24日

论文精选09:43

Block-GTQ: RoPE感知的KV缓存量化位分配方法

这篇论文用RoPE感知的位分配方案，在KV缓存量化上显著提升长上下文检索和推理，效果逼平fp16，值得研究量化的朋友细读。

#Block-GTQ #RoPE #KV缓存量化 #长上下文

arXiv: DeepSeek@Fengfeng Liang 等 3 人原文

6月17日

论文精选10:15

注意力的函数等价性：位置编码如何改变Transformer对称性

这篇论文解释了为啥RoPE比Sinusoidal位置编码更受青睐——它减少了参数空间的对称性，让Transformer表达力更强。如果你好奇背后的理论，值得一看。

#Transformer #RoPE #位置编码 #注意力机制

arXiv cs.LG@Viet-Hoang Tran 等 5 人原文

6月16日

论文11:32

MA-SBI: 无需校准的鲁棒模拟推断框架

这篇论文给出了一个不依赖真实参数对的新方法MA-SBI，用文本作为侧信道校正模拟器错误，在多个基准上比当前最好的RoPE还强，而且理论也扎实。

#MA-SBI #模拟推断 #误指定 #侧信道

arXiv cs.AI@Arunkumar V 等 5 人原文

6月11日

论文精选12:38

nD-RoPE：将旋转位置编码推广到任意维度

nD-RoPE 解决了高维位置编码缺乏统一理论框架的问题，做视觉、视频或点云 Transformer 的开发者可以直接用，能显著提升模型对空间结构的理解能力。

#位置编码 #RoPE #Transformer #高维表示

arXiv cs.AI@Boyang Li 等 8 人原文

6月1日

论文10:15

位置注意力 vs 符号注意力：学习动态、RoPE几何与长度泛化

这篇论文用严谨的实验和理论揭示了位置与符号注意力在长度泛化上的本质差异，做Transformer机制研究或长上下文优化的开发者值得细读，看完会对RoPE的几何解释有更深理解。

#注意力机制 #RoPE #长度泛化 #Transformer

arXiv cs.LG@Felipe Urrutia 等 6 人原文