AITOP

推理模型

共 1080 条相关 AI 资讯 · 查看话题观测
8月18日
17:35
17:35官方账号Decoder@Matthias Bastian
精选
AI系统压缩长对话时，平均丢弃83%用户规则（如“未经批准不发邮件”）。宾州州立大学研究者提出基于Qwen3.5-9B的附加模块。该模块可保留超90%的用户限制。
AI模型Qwen3.5-9B推理模型提示词工程
事件专题
推荐理由：宾州州立大学研究者给Qwen3.5-9B加了个模块，能让AI压缩上下文时少丢用户指令，保留超90%限制，比原来83%好多了。
原文
15:36
15:36官方账号arXiv cs.AI@Minsoo Cheong, Woosang Lim, Vincent-Daniel Yun, Sungjoo Yoo
KV-Rescue是一种无需训练的推理框架，通过轻量级全上下文助手桥接KV驱逐引入的信息缺口。在Qwen2.5-Math 7B和72B模型上，五个数学基准测试中，KV-Rescue在驱逐预算B=64时平均恢复了87%的精度损失。该框架使用在线检测器基于熵和可压缩性提前终止不连贯或重复的生成，将基础模型令牌生成量平均减少43%。
论文KV-RescueKV缓存推理模型
推荐理由：KV缓存驱逐会掉精度，KV-Rescue用个小模型当辅助，能救回87%的损失，还省43%的生成量，跑长推理的可以看看。
原文
15:28
15:27
10:25
10:25官方一手arXiv: DeepSeek@Changruo Zhao, Zujun Peng, Yu Tian, Yuting Liu, Yiyun Su, Huiying Zhu, Luyan Zhang, Heming Zeng
该论文将 LLM Text-to-SQL 领域的进展重组为排行榜聚合，并沿推理自主度轴划分出受限、上下文、迭代、智能体、推理内化五类生成方式。作者在 Spider 基准上做了案例研究，对比 8B 开源模型与 few-shot DeepSeek V3、GLM-4 基线，发现 Spider 成绩迁移到 BIRD 和 Spider 2.0 时不均衡。研究还指出自主性提升能增强鲁棒性但代价不小，CoT 收益集中在 Hard 和 Extra-Hard 查询上。论文发布了对应自主度轴的 Python 工具，供新方法直接接入排行榜。
论文Text-to-SQLSpiderDeepSeek V3
推荐理由：做 Text-to-SQL 的可以看看这份排行榜聚合方法，它把不同模型和推理方式按自主度归类，还给出了在 Spider、BIRD 上的实测对比，省得自己瞎比较。
原文
08:42
08:26
07:20
04:02
00:20
00:20官方一手@OpenAIDevs@OpenAIDevs
73°
OpenAI 发布 GPT-5.6 Sol 的基准结果。在 ARC-AGI-3 任务上，得分从 13.3% 提升到 38.3%。同时输出 token 数量减少约 6 倍。OpenAI 称这一改进来自保留推理和压缩机制。该结果由 OpenAI Devs 在 X 平台公布。
AI模型GPT-5.6ARC-AGI-3OpenAI
事件专题
推荐理由：OpenAI 的 GPT-5.6 Sol 在 ARC-AGI-3 上分数翻倍还多，token 还省了六倍，看看他们怎么做到的。
原文
8月17日
10:34
10:34官方账号arXiv cs.LG@Ziyang Luo, Zhongyao Chu, Xinjie He, Youting Wang, Xukui Qin, Runxiong Wu, Yan-Syuan Chen
YOPO 在冻结的 Qwen2.5（1.5B/3B/7B）上实现单次前向传播同时作答和弃权。它用条件转向探针改写残差流，并用零样本充足性方向判断信息是否足够，同时训练小网络从转向后的状态重建转向前的残差。在 alphaNLI 上，1.5B 模型的三路准确率从 0.375 提升到 0.798，超过两遍推理参考的 0.753。在十个骨干模型、六个模型家族上，YOPO 在 1.5B/3B/7B 分别取得 0.798/0.830/0.893，均高于两遍参考。论文在 SQuAD2、RepLiQA、MuSiQue 上完成原生标签验证，并提出首个 answer-or-abstain 基准。
论文YOPOQwen2.5弃权机制
推荐理由：YOPO 让冻结的 Qwen2.5 单次前向传播就完成作答和弃权判断，alphaNLI 达 0.798，超过两遍推理，值得看。
原文
10:19
10:19官方一手arXiv: DeepSeek@Shiju Zhao, Jiacheng Yang, Qihang Chen, Junhao Hu, Jiaqi Zheng, Guihai Chen, Xusheng Chen
精选
CoRun是一个面向LLM推理的调度系统，通过隔离预填充和固定形状批处理解码实现确定性输出。相比现有batch-invariant内核方案，CoRun无需牺牲性能即可保证结果一致。在Qwen和DeepSeek等模型上，CoRun吞吐量提升15%至324%，首token延迟平均降低51.8%，每token输出延迟平均降低48.6%。其核心洞察是大多数内核虽非批次不变，但具有位置不变性。
论文CoRunQwenDeepSeek
推荐理由：这篇论文说用简单填充法就能让LLM推理结果确定，不用牺牲速度，比之前的方案快了不少，还在Qwen和DeepSeek上试过。
原文
10:18
10:18官方一手arXiv: DeepSeek@Yongmin Kim, Shota Takashiro, Yusuke Iwasawa, Takeshi Kojima, Yutaka Matsuo
arXiv 论文提出一种面向大批量推理场景的训练免剪枝方法，针对现有自适应剪枝在批处理时阈值漂移、推理准确率崩塌的问题。方法用周期性 top-k 选择取代逐 token 阈值剪枝，并引入激活记忆累积重要神经元。在 DeepSeek-R1-Distill-Qwen-7B 上，批大小 4、50% 目标稀疏度下，平均准确率比此前最优自适应剪枝高 39.7 个百分点。实际稀疏度 50% 时相比稠密推理获得 1.40 倍加速。
论文DeepSeek-R1-Distill-Qwen-7B自适应剪枝推理模型
推荐理由：DeepSeek-R1-Distill-Qwen-7B实测：批大小4准确率比旧剪枝高39.7个点，还有1.40倍加速。
原文
10:17
10:17官方账号arXiv cs.LG@Haohui Yang, Jiaxing Sun, Xiujun Ma
Power Sampling 通过锐化完整生成轨迹的分布来增强推理，但研究发现它可能将更多概率质量转向正确轨迹，同时使下游推理变差。以自一致性为例，在多个模型和推理基准上准确率下降最高达18.5个百分点。原因包括剂量失配：固定指数在不同问题上导致不同程度的分布变化；以及覆盖失配：全局锐化将质量集中在少数主导路径，损失了宽泛的推理路径支持。研究者提出变形控制、支持保留的 Power 目标，在加权自一致性的同预算设置下，修复后的采样器逆转了损失并超过标准多采样推理。
论文Power SamplingSelf-Consistency推理模型
推荐理由：Power Sampling 越纠正反而越差，掉 18.5 个点，但有修复方案，比普通采样稳。
原文
09:14
06:39
06:39官方账号Simon Willison’s Weblog（博客/媒体）
精选
阿里Qwen发布Apache 2许可的Qwen 3.8 27B视觉模型，官方基准显示其超越Qwen 3.6 27B和闭源Qwen 3.7-Plus。作者在M5 Max MacBook Pro和DGX Spark上用LM Studio运行17GB Q4_K_M量化版，发现默认xhigh推理强度会消耗大量上下文。生成一张SVG用了22,276个推理token和21分钟，关闭推理后同一提示词仅需137秒。
AI模型Qwen 3.8 27BQwenLM Studio
事件专题
推荐理由：阿里新出的Qwen 3.8 27B开源模型本地可跑还带视觉，但默认爱钻牛角尖。关掉推理后同样的活从21分钟变2分钟，值得折腾。
原文
8月16日
10:43
8月15日
16:33
03:26
02:01
02:01官方账号阿里通义 Qwen@Alibaba_Qwen
Qwen3.8-2.4T-A95B已在DeepInfra平台上线。该稀疏MoE模型总参数达2.4万亿，激活参数为950亿，共512个专家。它面向编程、智能体工作流和复杂推理设计，原生支持262K上下文。API定价为每百万输入2美元、每百万输出6美元、缓存输入0.2美元。
AI模型QwenDeepInfraMoE
推荐理由：DeepInfra上线了Qwen最新稀疏MoE模型，2.4T总参数只激活95B，专攻编程和智能体场景，价格也公布了，想试API的可以直接上手。
原文
00:42
8月14日
23:13
23:13IT之家（博客/媒体）
85°
北京协和医院博士后金山木借助 OpenAI 的 GPT-5.6-Sol 模型，在约 16 小时内证明了自 2004 年悬而未决的 Crouzeix 猜想。康奈尔大学数学家 Alex Townsend、华盛顿大学 Anne Greenbaum 及猜想提出者 Michel Crouzeix 均已审阅并确认证明正确。此前人类专家在 2017 年仅将常数降至 2.414，而 AI 给出的证明依赖巧妙的采样策略。金山木已开源全部研究资料，包括论文、提示词和 Lean 4 形式化证明。该证明发布 8 天后，另有数学家发布了 5 页的独立证明。
AI模型GPT-5.6-SolCrouzeix 猜想Lean 4
事件专题
推荐理由：一个神经外科医生借 GPT-5.6 证明了 Crouzeix 猜想，数学家集体震惊。完整提示词和代码都开源了，可以看看。
原文
20:14
20:14小互@imxiaohu
OpenAI 发布 GPT-5.6 Sol。官方测试显示，该模型在“低”推理强度下的表现超过 GPT-5.5 在“高”推理强度下的水准。它能更敏锐地识别无效信息，减少不必要的循环推理，从而节省 Token 消耗，更快得到正确答案。
AI模型GPT-5.6OpenAI推理模型
事件专题
推荐理由：OpenAI 的 GPT-5.6 Sol 在低推理强度下就超过了 GPT-5.5 的高推理强度表现，还更省 Token，你可以直接上手试试。
原文
16:55
12:18
11:15
02:04
8月13日
21:39
21:17
18:10
18:09
18:05
18:02
18:02官方账号Simon Willison’s Weblog（博客/媒体）
DeepSeek V4 Pro 0813 已通过 OpenRouter 以 API 形式上线，官方没有专门公告页。新模型提供低、中、高三档推理等级，作者测试同一提示词时三档输出差异明显。截至发稿，DeepSeek 未确认是否开放权重，但 4 月的 V4 Pro 和 7 月的 V4 Flash 0731 均已开源，因此概率较高。基准数据先出现在官方微信群，被转载到 Reddit 后因“低质量”删除，现以 ASCII 表格形式流传于 Hacker News。
AI模型DeepSeekV4 Pro 0813OpenRouter
推荐理由：DeepSeek 新模型只走 API，OpenRouter 上能直接试。三档推理等级画出来的鹈鹕都不一样，想玩可以拿同一道题对比看看。
原文
18:02
18:02官方账号NVIDIA AI@NVIDIAAI
72°
NVIDIA今日推出Nemotron 3.5 Lightning模型，并已上线Tinker平台。该模型仅激活3B参数，针对吞吐速度进行优化。它面向对延迟和成本敏感的应用场景，适合高频实时推理任务。用户可在Tinker上直接体验该模型。
AI模型NemotronNVIDIATinker
事件专题
推荐理由：NVIDIA出了个轻量级新模型，3B参数跑得快又便宜，延迟敏感场景用得上，Tinker上现在就能玩。
原文
18:00
18:00shao__meng@shao__meng
81°
Grok 4.6 已通过 Grok Build、Cursor、Grok Bot 和 API 开放。官方对比 Grok 4.5 High、GPT-5.6 Sol Max、Fable 5 Max，Artificial Analysis 综合指数 61，与 GPT-5.6 Sol Max 持平，距 Fable 5 Max 的 62 差 1 分。长程 Agent 任务提升明显：DeepSWE 从 54% 升至 65.9%，APEX-Agents 从 47.1% 升至 57.5%，Terminal-Bench 从 15.7% 升至 26%。上下文窗口 50 万 token，支持文本与图像输入、文本输出，函数调用和结构化输出。相对 4.5 的 10 项评测全升，但 APEX-SWE 仅增加 2.8 个百分点，编码能力提升不均。
AI模型Grok 4.6GrokCursor
事件专题
推荐理由：Grok 4.6 上线，长程 Agent 强化，指数追平 GPT-5.6 Sol Max，试试？
原文
17:47
17:43
17:43
13:03
12:39