Token

Token作为大语言模型的基本计算单元，近期在效率提升和推理优化方面取得显著进展。华为升级的星河AI网络将Token生产效率提升2至5倍，通过优化网络架构减少数据传输瓶颈（华为升级星河AI网络，Token生产效率提升2至5倍）。Kog@AI在8×AMD MI300X上实现了3000 tokens/s的推理速度，展示了硬件适配的巨大潜力（Kog@AI 实现 3000 tokens/s 推理速度）。Fireworks AI每日处理30万亿token，开源模型份额持续攀升，说明开源生态在Token消耗量上已占据重要地位（Fireworks AI：每日处理30万亿token）。然而，多轮强化训练中Token重编码可能导致梯度错误，提醒业界关注训练稳定性问题（多轮RL训练智能体LLM的陷阱）。此外，Firecrawl /monitor通过自然语言监控网页变化可节省90% Token，体现了Token应用的精细化趋势（Firecrawl /monitor 上线）。当前焦点在于如何平衡Token效率与模型性能：黄仁勋强调应更关注时间效率而非成本（黄仁勋谈AI应用：浪费点钱没关系，别浪费时间），而Claude Opus 4.8的诚实改进（Claude Opus 4.8 发布）可能也涉及Token利用的优化。未来观察点：Token效率提升能否在更大模型上保持线性收益，以及训练中梯度问题是否会导致新的优化范式。