论文精选

模型崩溃何时发生?结构化交互学习中的条件

When Does Model Collapse Occur in Structured Interactive Learning?

精选理由

做生成模型训练或数据增强的团队,这篇论文帮你搞清楚多模型交互时什么时候会踩坑——交互图拓扑是决定因素,值得仔细看看理论条件。

AI 摘要

本文研究了在结构化交互学习环境中,生成模型因反复使用其他模型生成的合成数据而导致性能退化(模型崩溃)的条件。作者用有向图形式化模型间的交互模式,发现模型崩溃的发生关键取决于交互图的拓扑结构。他们推导出模型崩溃发生的充要条件,并为线性回归和一般M估计器建立了有限样本和渐近理论保证。这项研究填补了此前仅关注单模型自训练而忽略多模型交互场景的空白。

AI 翻译 · 中文

本文研究了在结构化交互学习环境中,生成模型因反复使用其他模型生成的合成数据而导致性能退化(模型崩溃)的条件。作者用有向图形式化模型间的交互模式,发现模型崩溃的发生关键取决于交互图的拓扑结构。他们推导出模型崩溃发生的充要条件,并为线性回归和一般M估计器建立了有限样本和渐近理论保证。这项研究填补了此前仅关注单模型自训练而忽略多模型交互场景的空白。

arXiv cs.LGThe proliferation of generative artificial intelligence has given rise to an interactive learning environment, where model parameters are continuously updated using not only data generated by natural processes, but also