论文10:46
On-Policy Self-Distillation with Sampled Demonstrations Reduces Output Diversity这篇论文揭示了自蒸馏方法的一个隐藏缺陷：虽然准确率不错，但多样性会变差，导致复杂推理场景下失效。做RL或推理模型的人值得看看。
#输出多样性
共 1 条 · 7 天 0 条 · 30 天 0 条
信息流里打上「输出多样性」标签的资讯、产品与论文，按刊登时间排，新的在上。
6月25日
这篇论文揭示了自蒸馏方法的一个隐藏缺陷：虽然准确率不错，但多样性会变差，导致复杂推理场景下失效。做RL或推理模型的人值得看看。