11:58
arXiv cs.AI@Haowen Hou, Zhen Huang, Zheming Liang, Qingyi Si, Chenglin Li, Shuai Dong, Kele Shao, Ruilin Li, Dianyi Wang, Nan Duan, Jiaqi Wang 视频相邻帧通常高度冗余,但现有视频多模态大模型仍将每帧独立编码为RGB图像,导致大量重复视觉token。AdaCodec提出一种预测式视觉编码接口:仅当场景无法从先前上下文预测时才发送完整参考帧,否则仅传输帧间变化(包括运动和预测残差)作为紧凑的P-token。在11个基准测试中,AdaCodec在相同token预算下优于Qwen3-VL-8B逐帧RGB基线;在长视频基准上,仅用1/7预算(32k token)即超越224k基线,并在通用视频基准上提升平均分数,同时将首token延迟从9.26秒降至1.62秒。
推荐理由:做视频理解或多模态模型优化的团队,终于有了一个能大幅降低计算开销而不牺牲性能的方案——AdaCodec用预测式编码直击视频冗余痛点,建议做视频MLLM的开发者直接看论文复现。