AITOP

token节省

共 5 条相关 AI 资讯
7月31日
00:47
6月24日
06:54
6月18日
17:40
6月3日
10:27
10:27官方账号arXiv cs.AI@Yu Xia, Zhouhang Xie, Xin Xu, Byungkyu Kang, Prarit Lamba, Xiang Gao, Julian McAuley
精选72°
ACTS提出了一种新方法，通过智能体控制器自适应地引导冻结的推理模型，在推理过程中动态调整思考策略和预算，从而在保持生成连续性的同时大幅节省token。该方法将推理引导建模为马尔可夫决策过程，控制器根据推理轨迹和剩余预算发出策略动作。实验表明，ACTS在全思考性能下实现了显著的token节省，并支持不同推理器和任务间的可控精度-效率权衡。代码已开源。
论文推理模型token节省智能体
推荐理由：ACTS解决了LLM推理中token浪费和缺乏控制的问题，做推理优化或部署大模型的开发者可以直接用开源代码尝试，实现更经济的推理。
原文
5月29日
08:36
08:36berryxia@berryxia
精选
Firecrawl 新推出 /monitor 功能，允许用户用自然语言描述监控目标（如“当有 ADHD 最新论文时提醒”），自动检测网页实质变化并通过 webhook 推送。相比传统全量抓取，它只摄取变动部分，最多节省 90% 的 LLM token。支持 API、CLI、MCP 或 dashboard 初始化，调度频率从 5 分钟到自定义。该功能解决了 AI agent 在监控任务中 token 浪费和噪声干扰的痛点，让 agent 专注于决策和执行。
AI产品AI agent网页监控Firecrawl
推荐理由：做生物或科研监控的 AI agent 开发者终于不用再为全量抓取烧 token 了——Firecrawl 的 /monitor 用自然语言定义目标，只抓变化部分，省 90% 成本，建议做信息聚合的团队直接集成。
原文