#长上下文

Proteus给长上下文模型加了个记忆开关，逐步解锁容量，让SWLA、Titans这些模型在长文本上表现更好，越长的上下文提升越明显。

阿里发了能塞进单卡GPU的27B模型，长上下文到1M，vLLM当天就能用。适合想自己部署长上下文开源模型的开发者。

官方账号阿里通义 Qwen@Alibaba_Qwen8 个信源在谈原文

这篇论文把一次长推理拆成多轮小步骤，每一步都能检查修正，适合做长文档问答的人看看。

OctoLong 用跨仓库代码上下文训练长上下文模型，替换12%数据就在检索和代码理解上更强，模型已开源。

ATFlash 在 1M token 上下文把 Qwen2.5-7B 提速 1.31 倍，精度不掉，而且能直接叠加现有稀疏方法。

谷歌Titans团队的新方法用记忆缓存把RNN长上下文召回从21提到32，算力还远低于Transformer。

Gary Marcus@GaryMarcus原文

DeepSeek稀疏注意力有个瓶颈，LongCat这套新方案用流式感知和跨层索引把它治了，跑长文本不慢，还开源了个69B模型，可以试试。

论文提出LiveMem，给LLM加了个永久记忆状态，上下文窗口再长也不怕忘事。在LongMemEval上跑分领先，值得一看。

PIVOT用共享前缀扫描替代逐查询扫描，加速4倍，端到端延迟降1.6倍，效果不打折。适合长上下文推理场景。

腾讯刚发了Hy3模型，有256K上下文，还能在Go语言里直接用了，试试看。

Hunyuan@TXhunyuan原文

这篇论文把稀疏和低秩两种思路拧在一起，解决Transformer的长序列瓶颈。不用算完整的注意力矩阵，就能同时抓住局部和全局信息。

Solar Open 2 发了，250B MoE 模型，1M token 超长上下文，专门跑复杂智能体任务。MMLU-Pro 和 LiveCodeBench 都领先，韩语能力还特别强，比 DeepSeek-V4-Pro 小很多但性能接近。

Kimi 和 vLLM 合作搞了个新缓存方案，K3 模型上来就能高效处理长文本，开源权重明年7月放出来。

官方账号vLLM@vllm_project11 个信源在谈原文

Qwen3-8B长上下文微调显存不够？HGA方案在16GB卡上跑16384令牌，比密集训练省显存还快一点，代码正在路上。

LongStraw 能让你在固定 GPU 预算下做百万 token 级别的强化学习后训练，比现有 256K 的方法多处理 8 倍上下文，而且内存增长极低。

长上下文推理内存瓶颈有救了！DepthWeave-KV用跨层分解加自适应压缩，8.3倍KV缓存缩减，速度72.8 tokens/s，比其他方法效果更好。

FreqDepthKV在长上下文推理中将KV缓存压缩3.9倍，同时保持任务精度，比此前压缩方法更稳定，适合内存受限场景。