AITOP
精选
过去 24 小时，从 326 条中筛出 13 条
全部模型产品行业论文技巧
标签：推理效率×
7月6日
12:01
6月19日
01:32
6月11日
15:28
15:23
15:07
6月9日
10:32
10:32官方一手arXiv: DeepSeek@Yan Wang, Qifan Zhang, Jiachen Yu, Tian Liang, Dongyang Ma, Xiang Hu, Zibo Lin, Chunyang Li, Zhichao Wang, Jia Li, Yujiu Yang, Haitao Mi, Dong Yu
精选72°
FlashMemory-DeepSeek-V4 提出了一种名为 Lookahead Sparse Attention (LSA) 的新型推理范式，通过神经记忆索引器预测未来上下文需求，仅保留关键 KV 块在 GPU 内存中。该架构采用解耦训练策略，将索引器作为独立双编码器训练，无需加载主模型。在 LongBench-v2、LongMemEval 等长上下文评测中，LSA 将物理 KV 缓存压缩至全上下文基线的 13.5%，同时下游准确率平均提升 0.6%。在 50 万 token 极端长度下，物理 KV 缓存开销降低超过 90%，且不损害模型核心推理能力。
论文稀疏注意力长上下文KV缓存压缩DeepSeek-V4推理效率
推荐理由：LSA 解决了超长上下文推理的 GPU 内存瓶颈，做长文档分析或大规模序列建模的团队可以直接参考其稀疏注意力方案，显著降低部署成本。
原文
6月4日
12:49
6月2日
07:56
07:56Fireworks AI@FireworksAI_HQ
精选76°
StepFun 发布 Step 3.7 Flash，一个 196B 参数的 MoE 模型，从设计之初就针对推理效率进行优化。它采用多矩阵分解注意力（MFA）技术，KV-cache 仅为 DeepSeek 的约 22%，并通过注意力-FFN 解耦（AFD）实现硬件优化的服务。模型在 ClawEval-1.1、SimpleVQA Search 等基准测试中排名第一，支持 400 TPS 的推理速度，256K 上下文窗口，并具备三种推理级别。它专为智能体、编程、搜索和多模态工作流设计，支持本地运行（如 Mac Studio M4 Max），并采用 Apache 2.0 许可证开放权重。
AI模型Step 3.7 FlashMoE推理效率MFAApache 2.0
推荐理由：Step 3.7 Flash 把推理效率从模型设计阶段就考虑进去，做智能体或搜索应用的团队可以直接在 Fireworks 上试用，成本可能比 DeepSeek 低很多。
原文
6月1日
00:09
5月22日
10:43
10:43官方一手arXiv: DeepSeek@Yuyang Wu, Qiyao Xue, Guanxing Lu, Weichen Liu, Zihan Wang, Manling Li, Olexandr Isayev
精选
CLORE 是一种针对大语言模型推理效率的内容级优化框架。它通过外部增强模型对正确的推理轨迹进行编辑，删除重复、不清晰或任务无关的内容，以及答案确定后的多余推理，同时保留最终答案。编辑后的轨迹与原始轨迹构成对比对，通过无参考的 DPO 目标与标准策略梯度训练联合优化。在 DeepSeek-R1-Distill-Qwen-7B 和 Qwen2.5-Math-7B 上的数学推理基准测试中，CLORE 提升了准确率与效率的平衡，并与 GRPO、DAPO 等方法兼容。内容级分析表明，CLORE 能有效减少重复推理、不清晰内容和答案后的探索，为长度级控制提供了互补方向。
论文推理效率内容优化DPO数学推理CLORE
推荐理由：CLORE 解决了推理模型输出冗长、重复的痛点，做推理优化或部署长链模型的团队可以直接参考其内容级编辑方法，比单纯限制长度更精细。
原文
5月19日
14:29
14:29官方账号arXiv cs.AI@Aditya Tanna, Nassim Bouarour, Mohamed Bouadi, Vinay Kumar Sankarapu, Pratinav Seth
精选
表格基础模型在健康数据集上表现优异，但高推理成本和基础设施需求限制了实际应用。研究者提出通过知识蒸馏将预测能力转移至轻量表格模型，并针对上下文表格模型在推理时依赖训练集导致的上下文泄露问题，采用分层折叠教师标注策略。在19个医疗数据集、6个教师模型、4个学生模型家族及多教师集成实验中，蒸馏学生模型保留了教师AUC的至少90%，部分甚至超越教师，同时CPU推理速度提升至少26倍，且保持校准性和公平性。多教师平均并未持续优于最佳单教师。该研究为推理受限的健康场景部署高质量预测提供了可行路径。
论文表格基础模型知识蒸馏健康数据推理效率公平性
推荐理由：医疗AI团队终于有了低成本部署高精度表格模型的方案——蒸馏后模型保留90%性能且快26倍，做健康数据预测的开发者可以直接用。
原文