AITOP

LLM推理

共 19 条相关 AI 资讯
7月8日
12:17
12:17官方账号arXiv cs.AI@Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera
FreqDepthKV是一种推理时KV缓存压缩方法，通过将相邻层的KV状态分解为共享低频深度分量和稀疏高频残差，并利用轻量在线探测根据注意力头对重建的贡献分配缓存模式。在32k token预填窗口下，FreqDepthKV在长上下文问答、检索、摘要和代码生成任务上达到58.3 Exact Match、63.0 F1、32.5 ROUGE-L和48.1 pass@1，接近全KV缓存水平。它还将解码吞吐提升至70.4 tokens/s，首令牌延迟降至2.06秒，峰值KV内存降至6.2 GB，实现3.9倍有效压缩比。
AI模型FreqDepthKVKV缓存压缩长上下文LLM推理模型压缩
推荐理由：FreqDepthKV在长上下文推理中将KV缓存压缩3.9倍，同时保持任务精度，比此前压缩方法更稳定，适合内存受限场景。
原文
7月6日
11:00
7月1日
04:06
6月25日
03:51
6月24日
21:15
6月23日
12:01
12:01官方一手arXiv: DeepSeek@Pengxiang Cai, Tianchen Fang, Xiaohan Li, Qingyuan Zeng, Guocong Li, Jintai Chen
精选
传统RLVR方法仅重新分配采样概率，虽能提升pass@1但可能降低pass@k，无法扩展基础模型的推理能力边界。本文提出边界感知课程RL：先用pass@k采样定位当前推理边界，再对边界附近样本进行教师引导，最后用RL巩固新推理模式。在Qwen、Llama、DeepSeek等模型上，该方法在pass@256上平均比基础模型提升9.8个百分点，比Vanilla RLVR提升10.3个百分点。实验表明该策略可帮助LLM持续突破经验推理边界。
论文课程强化学习LLM推理RLVRpass@k评估基础模型
推荐理由：这篇论文提出一种课程强化学习，能帮LLM突破自己的推理能力边界，在多个模型上效果显著，值得关注。
原文
6月13日
13:04
6月8日
11:05
11:05官方一手arXiv: OpenAI@Aravind Sundaresan
72°
串行LLM推理后端（如Ollama）在混合工作负载下因FCFS调度导致队头阻塞（HOLB），短查询可能被长生成任务延迟数分钟。Clairvoyant是一个即插即用的侧车代理，通过19个轻量级词汇特征用ONNX导出的XGBoost分类器预测响应长度，单请求延迟仅0.029毫秒。它优化排序保真度，在自然对话数据集上达到62-96%分布内和52-66%跨分布准确率。在RTX 4090上，短请求的P50延迟在最大队列压力下降低70-76%，稳态泊松到达下降低17%。Clairvoyant开源且无需修改推理后端。
AI产品LLM推理调度优化队头阻塞开源/仓库边缘部署
推荐理由：本地部署LLM的开发者终于有办法解决队头阻塞了——Clairvoyant用极低开销预测请求长度，短查询不再被长任务堵死，Ollama/llama.cpp用户可以直接集成试试。
原文
6月4日
12:10
12:10官方一手arXiv: DeepSeek@Jiongjiong Gu, Jianfeng Wang, Zidong Han, Yongqiao Wang, Pengfei Xia, Mingjie Zhang, Hong Liu, Yuanyi Xia, Jiajia Chu, Yifeng Tang, Hui Zang, Xin Yao, Qijie Qiu, Yuzhao Wang, Chuanfei Xu, Lin Zhang, Zhuonan Lai, Hongming Huang, Jiawei Qiu, Gong Zhang, Zhong Ming, Weipeng Cao
精选72°
FlexNPU 提出了一种透明的用户空间虚拟化层，用于华为Ascend NPU，通过拦截AscendCL API并路由操作到设备守护进程，实现无需修改模型代码、AI框架或NPU驱动即可解耦应用与物理设备。该方案支持动态PD共置调度，根据prefill（计算密集）和decode（内存带宽受限）的互补资源特性灵活调整，解决了静态PD分离的资源不平衡和数据移动问题。在384卡Ascend 910C部署DeepSeek-R1时，相比静态PD分离，吞吐量提升5.15%和26.33%；在Qwen2.5-7B上，相比静态PD共置，TTFT降低超过92%且TPOT几乎不变。实验表明，透明NPU虚拟化是实现高效、响应式LLM服务的实用基础。
论文NPU虚拟化LLM推理Prefill-Decode共置Ascend NPU动态调度
推荐理由：FlexNPU 解决了LLM推理中prefill和decode阶段资源冲突的痛点，做模型部署和推理优化的团队可以直接参考其动态调度思路，尤其适合使用华为Ascend NPU的开发者。
原文
10:16
10:16官方账号arXiv cs.AI@Peihua Mai, Xuanrong Gao, Youlong Ding, Xianglong Du, Wei Liu, Yan Pang
精选
SharedRequest 是一种针对大语言模型（LLM）的隐私保护推理框架，通过将原始提示与噪声变体混合，并在批量级别进行语义分组，来隐藏敏感信息。该方法无需修改模型架构或访问模型参数，兼容任何LLM。实验表明，与差分隐私基线相比，SharedRequest 的效用提升超过20%，且共享提示机制使查询成本降低最多5倍。该框架解决了现有方法在效用、效率和兼容性上的权衡问题。
论文隐私保护LLM推理模型无关批量查询差分隐私
推荐理由：做LLM隐私保护的团队终于有了一个无需改模型、不牺牲太多效用的实用方案——批量推理还能省成本，做API服务的开发者值得关注。
原文
00:20
6月1日
10:45
10:45官方账号arXiv cs.AI@Liwei Kang, Yee Whye Teh, Wee Sun Lee
精选
该论文研究了大型语言模型（LLM）在推理过程中如何利用搜索历史。作者发现，LLM通常将搜索树线性化为中间轨迹，但仅凭隐式表示的历史不足以超越传统启发式搜索。通过引入显式的父指针（LinTree结构），模型能更清晰地回溯和切换分支，从而在Blocks World、网格导航和Sokoban等任务中显著提升性能和搜索效率。这表明，显式化搜索树的树结构能更好地发挥历史信息的优势，为LLM推理提供更结构化的表示方法。
论文推理模型搜索树LLM推理结构化表示启发式搜索
推荐理由：如果你在做LLM推理或搜索增强的AI系统，这篇论文指出了隐式搜索历史的瓶颈，并提供了一个简单有效的改进方向——显式父指针。做推理模型或规划算法的开发者值得一看。
原文
5月30日
16:44
5月21日
11:25
11:25官方账号arXiv cs.AI@Can Hankendi, Rana Shahout, Minlan Yu, Ayse K. Coskun
精选
PALS是一个针对大语言模型推理的功耗感知运行时系统，将GPU功耗上限作为可调控制参数，与批处理大小等软件参数联合优化。该系统结合轻量级离线功耗性能模型和反馈驱动控制器，在满足吞吐量目标的同时最大化能效。在vLLM框架中实现，无需模型重训练或API更改。在多GPU系统上，针对稠密和混合专家模型，PALS能效提升最高26.3%，功耗约束下服务质量违规减少4到7倍。这展示了将功耗控制直接集成到LLM推理运行时中的潜力，可实现能效比例和电网交互式AI系统。
论文LLM推理功耗优化混合专家模型vLLM能效
推荐理由：数据中心GPU能耗是AI部署的隐形杀手，PALS把功耗从硬约束变成可调参数，做LLM服务部署的团队可以直接在vLLM上集成，省电又保性能，值得一试。
原文
5月19日
11:24
11:24官方账号arXiv cs.AI@Yasuyuki Okoshi, Hao Mark Chen, Guanxi Lu, Hongxiang Fan, Masato Motomura, Daichi Fujiki
精选
现代大语言模型依赖长前缀来控制推理行为，但前缀影响会随生成衰减，且注意力计算成本随前缀长度线性增长。现有方法要么压缩前缀但仍需注意力计算，要么通过梯度训练内化前缀但更新困难。本文提出 attention-state memory，一种无训练方法，将前缀与查询 token 的预计算注意力状态外化到轻量级查找表中。在 ManyICLBench 上，LLaMA-3.1-8B 在 1K-8K 内存预算下准确率超过上下文学习，注意力延迟降低 1.36 倍；在 NBA 基准上仅用 20% 内存就超越全注意力 RAG 性能。
论文长上下文注意力机制LLM推理无训练方法内存优化
推荐理由：长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效，做 LLM 推理优化或长文档应用的团队值得关注。
原文
11:16
11:16官方账号arXiv cs.LG@Sangjun Bae, Yisak Park, Sanghyeon Lee, Seungyul Han
精选
多智能体强化学习（MARL）中，通信是缓解部分可观测性的关键，但现有方法常存在信息交换低效或状态信息不足的问题。研究者提出LMAC（LLM驱动的多智能体通信），利用大语言模型的推理能力设计通信协议，让所有智能体尽可能准确且一致地重构底层状态。LMAC通过显式的状态感知准则迭代优化协议，改善状态恢复并缩小智能体间的知识差异。在多个MARL基准测试中，LMAC显著提升了智能体间的状态重建质量，并在性能上大幅超越之前的通信基线方法。
论文多智能体强化学习LLM推理通信协议状态重建LMAC
推荐理由：做MARL研究的团队终于有了一个利用LLM推理能力来设计通信协议的实用方案，LMAC直接解决了部分可观测性下的信息瓶颈问题，值得在实验环境中试试。
原文
5月15日
09:53
09:53官方账号arXiv cs.AI@Thomas Witt
精选73°
XFP是一种针对大语言模型推理的动态权重量化器，它颠覆了传统工作流：用户只需指定每通道余弦相似度的重建质量阈值（注意力与共享专家用严格阈值，路由专家MoE用宽松阈值），XFP自动确定码本大小、异常值预算和每层打包方式，无需Hessian矩阵、校准数据或手动位宽选择。每个权重矩阵被分解为稀疏fp16异常值残差和密集的子字节索引张量（指向每组的可学习码本）。在Qwen3.5-122B-A10B模型上，XFP在RTX PRO 6000 Blackwell工作站上实现138 tok/s单流解码，GSM8K准确率94.49%，比Marlin INT4快49%。对于无法装入目标内存的模型，XFP提出H-Process：通过迭代两个余弦阈值找到刚好能装入模型且输出合理的操作点。在Qwen3.5-397B-A17B上，H-Process将全部专家装入2×96 GB内存（约3.4有效比特），实现100.9 tok/s长输出解码，GSM8K准确率66.72%，在内存、吞吐量和准确率上同时超越带路由专家剪枝的INT4。
论文量化LLM推理码本量化异常值分离XFP
推荐理由：XFP解决了LLM量化中手动调参和校准数据依赖的痛点，做模型部署和推理优化的团队可以直接用上自动化的高质量量化方案，省去大量调参时间。
原文
5月11日
22:17
11:45
11:45官方账号arXiv cs.AI（学术论文）
Dooly是一种新型LLM推理模拟器，解决了传统模拟器因硬编码配置而需重新分析所有操作的高成本问题。它通过单次推理过程，利用污点传播标记输入维度来源，仅分析数据库中缺失的操作，并复用服务引擎初始化代码隔离有状态操作（如注意力机制）。在两种GPU平台、三种注意力后端和多种模型架构上，Dooly实现了TTFT 5%以内、TPOT 8%以内的模拟准确性，同时将12个模型的分析GPU小时数减少56.4%。这项工作降低了探索最优推理配置的计算成本，对部署效率提升有重要意义。
论文推理模拟LLM推理性能优化配置搜索GPU分析
推荐理由：Dooly通过结构感知的冗余消除，显著降低了LLM推理配置探索的开销，对需要评估多种硬件、引擎和模型组合的从业者具有实用价值。
原文