AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签：KV 缓存×
6月16日
20:46
6月12日
12:57
6月11日
15:28
15:23
15:07
6月9日
20:29
5月26日
05:31
05:31marktechpost@Asif Razzaq
72°
Together AI 开源了 OSCAR，一种面向长上下文 LLM 推理的 INT2 KV 缓存量化方法。与依赖数据无关的 Hadamard 变换不同，OSCAR 通过离线估计注意力感知的协方差结构，为键和值分别推导旋转矩阵。在 Qwen3-4B-Thinking-2507 和 Qwen3-8B 上，OSCAR 以每 KV 元素 2.28 比特的精度，将 BF16 精度差距分别缩小至 3.78 和 1.42 分。该方法可实现约 8 倍的 KV 内存缩减，并在 100K 上下文长度下带来最高 3 倍的解码加速。
AI模型量化KV 缓存长上下文Together AI推理优化
推荐理由：长上下文 LLM 推理的内存瓶颈终于有了实用解法——OSCAR 在 2-bit 量化下几乎不损失精度，做长文档/多轮对话推理的团队可以直接集成，显著降低硬件成本。
原文
5月20日
04:40
04:40Together AI@togethercompute
76°
Together AI 的 VP of Kernels 指出，当前推理基准测试与生产负载不匹配。针对多并发编码智能体（每个上下文 45k-200k token）的真实场景，Together AI 的推理引擎在 KV 缓存、调度器限制和吞吐量方面进行了优化。测试结果显示，其 TPS 比最快的开源引擎高 31%，饱和状态下首 token 时间快 2 倍，每请求成本比 Claude Opus 4.6 低 76%。这为运行大规模 AI 智能体的团队提供了更高效、更低成本的推理方案。
AI产品推理引擎Together AIKV 缓存成本优化编码智能体
推荐理由：做多智能体编码或高并发推理的团队，终于有基准测试对准真实负载了——Together AI 的引擎在成本和速度上都有明显优势，值得跑一下自己的场景试试。
原文