AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

PCD

共 1 条相关 AI 资讯
7月31日
13:18
13:18官方账号arXiv cs.AI@Feng Xiong, Leyan Xue, Hongyu Lin
论文提出感知纠正蒸馏(PCD),用于多模态推理器的感知蒸馏。PCD 通过下游失败和师生分歧两个见证信号的乘积来识别可纠正的感知错误,并保持推理目标不变。在八个基准上,PCD 将 8B→2B 蒸馏的宏平均从 44.50 提升到 47.28,将 32B→8B 从 56.94 提升到 61.22。2B 消融实验中,去掉 PCD 使留出集平均下降 2.22 分,去掉分离式 rollout 下降 0.88 分。
论文PCD多模态推理知识蒸馏

推荐理由:这篇论文给多模态蒸馏提了个新招:用师生分歧定位该纠的感知错误,八个基准分数明显涨,做蒸馏的可以看。
原文
精选全部日报登录