#token compression

4 stories · 1 in 7 days · 1 in 30 days
Stories, products and papers tagged "token compression", newest first.
Nov 17
ProductsBuildersOfficial10:13
Chinese contentMETASTONE 推出多模态推理服务,自测视频处理提速 2.48 倍

一家推理服务商把缓存、token 压缩和上下文管理打包成了多模态推理服务,自测视频提速 2.48 倍。做视频理解或长上下文业务的团队可以关注,但数字是厂商自己测的,对比 vLLM 等方案前建议先跑自己的基准。

Primary sourcepandaily@[email protected] (Pandaily)Source
Jun 15
Jun 2
PapersSelected11:58
Chinese contentAdaCodec:为视频MLLM设计的预测式视觉编码,1/7预算超越全帧基线

做视频理解或多模态模型优化的团队,终于有了一个能大幅降低计算开销而不牺牲性能的方案——AdaCodec用预测式编码直击视频冗余痛点,建议做视频MLLM的开发者直接看论文复现。

arXiv cs.AI@Haowen Hou et al. (11)Source
May 29