精选理由
UltraX 搞了个新框架，用程序化编辑替代传统规则和LLM方式，既能细粒度编辑又保证效率，精炼预训练数据效果不错。
UltraX 提出一种函数调用精炼框架，通过引入插入操作完成编辑函数空间，实现细粒度实例级编辑。该框架通过数据集自适应提示优化指导专家LLM生成高质量精炼文本，再通过行对齐映射和动态上下文替换转换为结构化程序监督。实验表明 UltraX 在所有语料库上取得最高平均性能，并使用更少训练 token 匹配或超越基线，展现更强数据效率和精炼可靠性。
AI 翻译 · 中文
UltraX 提出一种函数调用精炼框架，通过引入插入操作完成编辑函数空间，实现细粒度实例级编辑。该框架通过数据集自适应提示优化指导专家LLM生成高质量精炼文本，再通过行对齐映射和动态上下文替换转换为结构化程序监督。实验表明 UltraX 在所有语料库上取得最高平均性能，并使用更少训练 token 匹配或超越基线，展现更强数据效率和精炼可靠性。
As available training data approaches its physical limit, gains from Scaling Laws have begun to diminish. Consequently, improving Large Language Models (LLMs) now depends less on data expansion and more on higher-quality…