AITOP

LLM推理

共 26 条相关 AI 资讯
8月7日
13:14
7月29日
11:49
11:49官方账号arXiv cs.AI@Fanfu Wei, Thibault Ehrhart, Raphaël Troncy
Kontrast是一个基于Text-to-SPARQL和LLM推理的自动框架，用于检测Wikipedia和Wikidata中文本、表格和知识图谱三种模态间的知识不一致性。论文首先提出跨模态知识不一致的分类学，涵盖信息粒度差异、直接冲突、时间变化和知识图谱不完整四种类型。在多个Table-QA数据集上的实验表明，跨模态不一致普遍存在，能揭示真正的知识冲突、缺失的KG结构及时序不匹配。Kontrast为大规模知识审计提供了实用工具，并建立了跨模态知识一致性的基准。
论文Kontrast知识图谱表格QA
推荐理由：想系统理解文本、表格和知识图谱为什么打架？看看这篇论文，它用SPARQL和LLM自动找出不一致，还分了四种类型，挺实用的。
原文
7月21日
10:39
10:39官方账号arXiv cs.AI@Honglin Li
论文提出约束路径推理（CPR）框架，通过源感知路径假设和阶段级核算来评估LLM推理中中间承诺阶段的价值。在1,180个生成的QCQP和40个工程退化多项式实例（2,140个端点）上，残差分类恢复63.0%的修复全部额外可行产出，仅用17.7%的尝试。固定LLM核算（270次唯一调用）显示可行产出率：直接41.1%，形式化与确定性执行后90.0%，一次凸化后20.0%，完整路径21.1%。在120次配对条件调用中，两步回滚规则达到90%可行产出，而反馈条件选择器仅为36.7%。
论文LLM推理约束路径推理QCQP
推荐理由：这篇论文提出了一个量化框架，告诉你什么时候该在推理中增加中间步骤，什么时候不该。有具体数据支撑，适合做推理优化的研究参考。
原文
09:35
09:35官方账号arXiv cs.LG@Lucky Verma
研究团队在子句密度近乎匹配的条件下，比较了证明难的expander-Tseitin公式与证明易的ladder-Tseitin公式，以及密度不匹配的控制组。求解器Glucose的平均冲突代理差异高达51倍，其他五个求解器也保持方向一致。三个模型各243个实例的准确率差距从-32到+20个百分点，合并差距为+1.7个百分点（p=0.74），且正确率与冲突代理呈错误正向关联（r=+0.15）。证明保留重标定使一个模型准确率平均下降93点，但对另一个模型影响不大。16k token实验中，推理模型在证明易匹配公式上的token消耗反而更多，而32k C1差距消失。
论文约束推理求解器难度模型难度
推荐理由：这篇论文用严格实验告诉你，LLM在约束推理上的表现和求解器难度不是一码事。他们控制密度、比较两类公式，发现准确率差距和求解器冲突量几乎不相关，甚至反着走。
原文
7月20日
10:47
7月18日
20:27
7月16日
00:10
7月8日
12:17
12:17官方账号arXiv cs.AI@Anna Córdoba, Adam Puente Tercero, Nerea Angulo Hijo, Mar Linares Tercero, Julia Barrientos, Ainhoa Miranda, Jesús Olivera
FreqDepthKV是一种推理时KV缓存压缩方法，通过将相邻层的KV状态分解为共享低频深度分量和稀疏高频残差，并利用轻量在线探测根据注意力头对重建的贡献分配缓存模式。在32k token预填窗口下，FreqDepthKV在长上下文问答、检索、摘要和代码生成任务上达到58.3 Exact Match、63.0 F1、32.5 ROUGE-L和48.1 pass@1，接近全KV缓存水平。它还将解码吞吐提升至70.4 tokens/s，首令牌延迟降至2.06秒，峰值KV内存降至6.2 GB，实现3.9倍有效压缩比。
AI模型FreqDepthKVKV缓存压缩长上下文
推荐理由：FreqDepthKV在长上下文推理中将KV缓存压缩3.9倍，同时保持任务精度，比此前压缩方法更稳定，适合内存受限场景。
原文
7月6日
11:00
11:00Geek@geekbb
精选
小红书团队开源了一个高效长上下文LLM服务框架。该框架通过注意力头分类和分段式KV缓存策略，将长上下文大模型推理的预填充FLOPs降低约50%-70%。同时保持接近无损的精度。代码已在GitHub上开源。
AI模型小红书长上下文LLM推理
推荐理由：小红书开源了一个长上下文LLM推理框架，用注意力头分类和分段缓存把预填充算力省掉一半多，精度基本没损失，适合超长文本场景。
原文
7月1日
04:06
6月25日
03:51
6月24日
21:15
21:15官方一手OpenAI Blog（博客/媒体）
76°
OpenAI和Broadcom联合推出Jalapeño芯片，这是一款专为LLM推理设计的定制AI芯片。该芯片旨在提升AI系统的性能、效率和可扩展性。它针对大规模AI部署进行了优化。
AI产品OpenAIBroadcomJalapeño
事件专题
推荐理由：OpenAI和博通合作出了Jalapeño芯片，专为LLM推理优化，性能效率和扩展性都提升了，适合大规模AI系统。
原文
6月23日
12:01
12:01官方一手arXiv: DeepSeek@Pengxiang Cai, Tianchen Fang, Xiaohan Li, Qingyuan Zeng, Guocong Li, Jintai Chen
精选
传统RLVR方法仅重新分配采样概率，虽能提升pass@1但可能降低pass@k，无法扩展基础模型的推理能力边界。本文提出边界感知课程RL：先用pass@k采样定位当前推理边界，再对边界附近样本进行教师引导，最后用RL巩固新推理模式。在Qwen、Llama、DeepSeek等模型上，该方法在pass@256上平均比基础模型提升9.8个百分点，比Vanilla RLVR提升10.3个百分点。实验表明该策略可帮助LLM持续突破经验推理边界。
论文课程强化学习LLM推理RLVR
推荐理由：这篇论文提出一种课程强化学习，能帮LLM突破自己的推理能力边界，在多个模型上效果显著，值得关注。
原文
6月13日
13:04
6月8日
11:05
11:05官方一手arXiv: OpenAI@Aravind Sundaresan
72°
串行LLM推理后端（如Ollama）在混合工作负载下因FCFS调度导致队头阻塞（HOLB），短查询可能被长生成任务延迟数分钟。Clairvoyant是一个即插即用的侧车代理，通过19个轻量级词汇特征用ONNX导出的XGBoost分类器预测响应长度，单请求延迟仅0.029毫秒。它优化排序保真度，在自然对话数据集上达到62-96%分布内和52-66%跨分布准确率。在RTX 4090上，短请求的P50延迟在最大队列压力下降低70-76%，稳态泊松到达下降低17%。Clairvoyant开源且无需修改推理后端。
AI产品LLM推理调度优化队头阻塞
事件专题
推荐理由：本地部署LLM的开发者终于有办法解决队头阻塞了——Clairvoyant用极低开销预测请求长度，短查询不再被长任务堵死，Ollama/llama.cpp用户可以直接集成试试。
原文
6月4日
12:10
12:10官方一手arXiv: DeepSeek@Jiongjiong Gu, Jianfeng Wang, Zidong Han, Yongqiao Wang, Pengfei Xia, Mingjie Zhang, Hong Liu, Yuanyi Xia, Jiajia Chu, Yifeng Tang, Hui Zang, Xin Yao, Qijie Qiu, Yuzhao Wang, Chuanfei Xu, Lin Zhang, Zhuonan Lai, Hongming Huang, Jiawei Qiu, Gong Zhang, Zhong Ming, Weipeng Cao
精选72°
FlexNPU 提出了一种透明的用户空间虚拟化层，用于华为Ascend NPU，通过拦截AscendCL API并路由操作到设备守护进程，实现无需修改模型代码、AI框架或NPU驱动即可解耦应用与物理设备。该方案支持动态PD共置调度，根据prefill（计算密集）和decode（内存带宽受限）的互补资源特性灵活调整，解决了静态PD分离的资源不平衡和数据移动问题。在384卡Ascend 910C部署DeepSeek-R1时，相比静态PD分离，吞吐量提升5.15%和26.33%；在Qwen2.5-7B上，相比静态PD共置，TTFT降低超过92%且TPOT几乎不变。实验表明，透明NPU虚拟化是实现高效、响应式LLM服务的实用基础。
论文NPU虚拟化LLM推理Prefill-Decode共置
推荐理由：FlexNPU 解决了LLM推理中prefill和decode阶段资源冲突的痛点，做模型部署和推理优化的团队可以直接参考其动态调度思路，尤其适合使用华为Ascend NPU的开发者。
原文
10:16
10:16官方账号arXiv cs.AI@Peihua Mai, Xuanrong Gao, Youlong Ding, Xianglong Du, Wei Liu, Yan Pang
精选
SharedRequest 是一种针对大语言模型（LLM）的隐私保护推理框架，通过将原始提示与噪声变体混合，并在批量级别进行语义分组，来隐藏敏感信息。该方法无需修改模型架构或访问模型参数，兼容任何LLM。实验表明，与差分隐私基线相比，SharedRequest 的效用提升超过20%，且共享提示机制使查询成本降低最多5倍。该框架解决了现有方法在效用、效率和兼容性上的权衡问题。
论文隐私保护LLM推理模型无关
推荐理由：做LLM隐私保护的团队终于有了一个无需改模型、不牺牲太多效用的实用方案——批量推理还能省成本，做API服务的开发者值得关注。
原文
00:20
00:20DeepLearning.AI@DeepLearningAI
DeepLearning.AI 与 RedHat 合作推出免费短课程《Fast & Efficient LLM Inference with vLLM》，由 Cedric Clyburn 授课。课程涵盖开源 LLM 量化、使用 vLLM 部署模型，以及从速度、成本和准确率三个维度进行基准测试。学员可免费注册学习，适合希望提升 LLM 推理效率的开发者。
AI产品vLLMLLM推理模型量化
推荐理由：vLLM 是目前最主流的 LLM 推理框架之一，这门课直接教你量化、部署和基准测试，做模型部署或推理优化的工程师值得花时间学。
原文
6月1日
10:45
10:45官方账号arXiv cs.AI@Liwei Kang, Yee Whye Teh, Wee Sun Lee
精选
该论文研究了大型语言模型（LLM）在推理过程中如何利用搜索历史。作者发现，LLM通常将搜索树线性化为中间轨迹，但仅凭隐式表示的历史不足以超越传统启发式搜索。通过引入显式的父指针（LinTree结构），模型能更清晰地回溯和切换分支，从而在Blocks World、网格导航和Sokoban等任务中显著提升性能和搜索效率。这表明，显式化搜索树的树结构能更好地发挥历史信息的优势，为LLM推理提供更结构化的表示方法。
论文推理模型搜索树LLM推理
推荐理由：如果你在做LLM推理或搜索增强的AI系统，这篇论文指出了隐式搜索历史的瓶颈，并提供了一个简单有效的改进方向——显式父指针。做推理模型或规划算法的开发者值得一看。
原文
5月30日
16:44
16:44Stanford AI Lab@StanfordAILab
斯坦福AI Lab在ICLR 2026上公布了其论文列表，涵盖LLM推理、智能体系统、AI安全、机器人、空间智能、视频生成等多个前沿方向。这些论文代表了该实验室在AI领域的最新研究成果，对学术界和工业界均有重要参考价值。参会者可以现场交流，未参会者也可在线查看论文详情。
论文ICLR 2026斯坦福AI LabLLM推理
推荐理由：斯坦福AI Lab的论文列表是了解AI前沿趋势的绝佳窗口，做LLM推理、智能体或AI安全的研究者值得点开看看，说不定能找到灵感或合作方向。
原文
5月21日
11:25
11:25官方账号arXiv cs.AI@Can Hankendi, Rana Shahout, Minlan Yu, Ayse K. Coskun
精选
PALS是一个针对大语言模型推理的功耗感知运行时系统，将GPU功耗上限作为可调控制参数，与批处理大小等软件参数联合优化。该系统结合轻量级离线功耗性能模型和反馈驱动控制器，在满足吞吐量目标的同时最大化能效。在vLLM框架中实现，无需模型重训练或API更改。在多GPU系统上，针对稠密和混合专家模型，PALS能效提升最高26.3%，功耗约束下服务质量违规减少4到7倍。这展示了将功耗控制直接集成到LLM推理运行时中的潜力，可实现能效比例和电网交互式AI系统。
论文LLM推理功耗优化混合专家模型
推荐理由：数据中心GPU能耗是AI部署的隐形杀手，PALS把功耗从硬约束变成可调参数，做LLM服务部署的团队可以直接在vLLM上集成，省电又保性能，值得一试。
原文
5月19日
11:24
11:24官方账号arXiv cs.AI@Yasuyuki Okoshi, Hao Mark Chen, Guanxi Lu, Hongxiang Fan, Masato Motomura, Daichi Fujiki
精选
现代大语言模型依赖长前缀来控制推理行为，但前缀影响会随生成衰减，且注意力计算成本随前缀长度线性增长。现有方法要么压缩前缀但仍需注意力计算，要么通过梯度训练内化前缀但更新困难。本文提出 attention-state memory，一种无训练方法，将前缀与查询 token 的预计算注意力状态外化到轻量级查找表中。在 ManyICLBench 上，LLaMA-3.1-8B 在 1K-8K 内存预算下准确率超过上下文学习，注意力延迟降低 1.36 倍；在 NBA 基准上仅用 20% 内存就超越全注意力 RAG 性能。
论文长上下文注意力机制LLM推理
推荐理由：长上下文推理的注意力瓶颈终于有了轻量级解法——无训练、可更新、内存高效，做 LLM 推理优化或长文档应用的团队值得关注。
原文
11:16
11:16官方账号arXiv cs.LG@Sangjun Bae, Yisak Park, Sanghyeon Lee, Seungyul Han
精选
多智能体强化学习（MARL）中，通信是缓解部分可观测性的关键，但现有方法常存在信息交换低效或状态信息不足的问题。研究者提出LMAC（LLM驱动的多智能体通信），利用大语言模型的推理能力设计通信协议，让所有智能体尽可能准确且一致地重构底层状态。LMAC通过显式的状态感知准则迭代优化协议，改善状态恢复并缩小智能体间的知识差异。在多个MARL基准测试中，LMAC显著提升了智能体间的状态重建质量，并在性能上大幅超越之前的通信基线方法。
论文多智能体强化学习LLM推理通信协议
推荐理由：做MARL研究的团队终于有了一个利用LLM推理能力来设计通信协议的实用方案，LMAC直接解决了部分可观测性下的信息瓶颈问题，值得在实验环境中试试。
原文
5月15日
09:53
09:53官方账号arXiv cs.AI@Thomas Witt
精选73°
XFP是一种针对大语言模型推理的动态权重量化器，它颠覆了传统工作流：用户只需指定每通道余弦相似度的重建质量阈值（注意力与共享专家用严格阈值，路由专家MoE用宽松阈值），XFP自动确定码本大小、异常值预算和每层打包方式，无需Hessian矩阵、校准数据或手动位宽选择。每个权重矩阵被分解为稀疏fp16异常值残差和密集的子字节索引张量（指向每组的可学习码本）。在Qwen3.5-122B-A10B模型上，XFP在RTX PRO 6000 Blackwell工作站上实现138 tok/s单流解码，GSM8K准确率94.49%，比Marlin INT4快49%。对于无法装入目标内存的模型，XFP提出H-Process：通过迭代两个余弦阈值找到刚好能装入模型且输出合理的操作点。在Qwen3.5-397B-A17B上，H-Process将全部专家装入2×96 GB内存（约3.4有效比特），实现100.9 tok/s长输出解码，GSM8K准确率66.72%，在内存、吞吐量和准确率上同时超越带路由专家剪枝的INT4。
论文量化LLM推理码本量化
推荐理由：XFP解决了LLM量化中手动调参和校准数据依赖的痛点，做模型部署和推理优化的团队可以直接用上自动化的高质量量化方案，省去大量调参时间。
原文
5月11日
22:17
11:45
11:45官方账号arXiv cs.AI（学术论文）
Dooly是一种新型LLM推理模拟器，解决了传统模拟器因硬编码配置而需重新分析所有操作的高成本问题。它通过单次推理过程，利用污点传播标记输入维度来源，仅分析数据库中缺失的操作，并复用服务引擎初始化代码隔离有状态操作（如注意力机制）。在两种GPU平台、三种注意力后端和多种模型架构上，Dooly实现了TTFT 5%以内、TPOT 8%以内的模拟准确性，同时将12个模型的分析GPU小时数减少56.4%。这项工作降低了探索最优推理配置的计算成本，对部署效率提升有重要意义。
论文推理模拟LLM推理性能优化
推荐理由：Dooly通过结构感知的冗余消除，显著降低了LLM推理配置探索的开销，对需要评估多种硬件、引擎和模型组合的从业者具有实用价值。
原文