数据策略相关 AI 资讯 · AI 热点

7月14日

09:21

09:21

Jerry Liu@jerryjliu0

LlamaIndex 创始人 Jerry Liu 在推文中赞同一种观点：企业利用数据的核心不在于训练模型，而在于将数据转化为模型可在推理时通过上下文使用的技能或工件。他指出训练模型耗时费力且需随基模型更新重复，且难以撤销。相比之下，通过提示词和编排利用模型推理时的易用性是 LLM 流行的部分原因。

行业 LlamaIndex LLM 上下文学习

推荐理由：LlamaIndex 创始人聊数据策略：别费劲训练模型，把数据做成上下文技能更划算。

5月20日

10:24

10:24

官方账号arXiv cs.AI@Yuze Zhao, Junpeng Fang, Lu Yu, Zhenya Huang, Kai Zhang, Qing Cui, Qi Liu, Jun Zhou, Enhong Chen

精选72°

这篇论文通过控制预训练实验，重新审视了代码训练对语言模型推理能力的影响。研究发现，纯代码主要提升编程能力，而非通用推理能力，甚至与数学等知识密集型任务存在竞争关系。真正提升数学推理的是跨领域的结构化推理信号，如代码-文本和数学-文本混合数据。在固定数学预算下，增加结构化数学样本密度能显著提升复杂数学推理，同时保持编程性能。分析还显示，数据组成效应反映在专家激活模式中，为跨领域的竞争与协同提供了机制层面的证据。

论文推理模型预训练数学推理

推荐理由：这篇论文戳破了“代码训练提升通用推理”的迷思，做预训练数据策略的团队值得细看——它指明了如何通过结构化推理信号精准优化数学能力，而非盲目堆代码。