11:58
官方账号arXiv cs.LG@Dongjie Fu, Di Cao, Xize Cheng, Zihan Zhang, Wenxu Jia, Yifu Chen, Shengpeng Ji, Yu Zhang, Tao Jin
推荐理由：想提升音频模型的逻辑推理？这个框架用文本教师蒸馏，在MMSU等基准上效果拔群，比纯音频训练强很多。
策略对齐
共 1 条相关 AI 资讯
7月24日
11:58
X$^3$-OPD是一个跨模态策略蒸馏框架，将文本教师模型的推理能力迁移到音频语言学生模型上。训练时学生基于自身声学感知生成推理轨迹，教师用匹配文本和验证答案提供词级指导。框架构建了三层对称语料：文本推理合成语音、复杂声场音频事件推理、含副语言线索的会话推理。在MMSU、MMAU、BIG Bench Audio和MMAR基准上，X$^3$-OPD显著提升了音频推理和思维链质量，且保持了模型在领域偏移下的现有能力。