AITOP

上下文优化

共 4 条相关 AI 资讯
7月30日
13:31
13:31小互@imxiaohu
81°
OpenAI 发现 GPT-5.6 Sol 在 ARC-AGI-3 公开题库中仅得 13.3%，原因是推理过程中的私有思考被丢弃，上下文到达阈值后直接删除早期消息。通过开启 Responses API 将上一次响应 ID 传回以保留推理链，并启用 compaction 将超限上下文压缩为浓缩摘要，得分升至 38.3%。最高档每局输出 token 从 290 万降至 49 万，新程序在“高”档即达到旧程序“最高”档的分数，token 消耗相差约 12 倍。
技巧GPT-5.6OpenAIARC-AGI-3
事件专题
推荐理由：OpenAI 分享了两个超实用的 API 开关，GPT-5.6 Sol 在 ARC-AGI-3 上分数直接翻了三倍，token 还省了十二倍，搞推理优化的一定要看看。
原文
7月9日
20:07
6月16日
12:18
12:18官方账号arXiv cs.LG@Buqiang Xu, Zirui Xue, Dianmou Chen, Chenyang Fu, Chiyu Wu, Caiying Huang, Chen Jiang, Jizhan Fang, Xinle Deng, Yijun Chen, Yunzhi Yao, Xuehai Wang, Jin Shang, Gong Yu, Ningyu Zhang
TokenPilot提出了一种双粒度上下文管理框架，通过Ingestion-Aware Compaction稳定提示前缀并消除环境噪声，以及Lifecycle-Aware Eviction监控上下文段残余效用。在PinchBench和Claw-Eval基准测试中，TokenPilot在孤立模式下分别降低61%和56%的成本，连续模式下降低61%和87%，同时保持与先前系统相当的性能。该框架已集成到LightMem2中，可访问https://github.com/zjunlp/LightMem2。
论文TokenPilotLightMem2缓存管理
推荐理由：想降低LLM智能体长会话的推理成本？看看TokenPilot，它通过智能管理上下文缓存，在三个基准上省了61%-87%的费用，性能还不掉队。
原文
5月30日
12:47
12:47官方一手marktechpost@Asif Razzaq
精选72°
Nous Research 的 Hermes Agent 新增 Tool Search 功能，用于解决 MCP（模型上下文协议）中的上下文膨胀问题。该功能采用 BM25 渐进式模式披露机制，能有效筛选相关工具。Anthropic 的评估显示，在 Opus 4 模型上，该方案将准确率提升了 49% 到 74%。这一改进对依赖 MCP 的 AI 代理系统意义重大，能显著减少无效信息干扰，提升任务执行效率。
AI产品MCP/工具智能体Hermes Agent
事件专题
推荐理由：MCP 上下文膨胀是 AI 代理落地的常见痛点，Hermes Agent 的 Tool Search 用 BM25 精准筛选工具，做智能体开发的团队可以直接参考这个方案来优化自己的系统。
原文