语言模型相关 AI 资讯

行业02:34

Stanford AI Lab 携多个项目参展 COLM 2026

Stanford AI Lab 把这次在 COLM 上的展示项目整理成了一篇博客，对语言模型研究感兴趣的话可以顺手翻翻。

#Stanford AI Lab #COLM #语言模型 #学术论文

Stanford AI Lab@StanfordAILab原文

论文10:22

研究提出"虚假遗忘"机制：微调中"丢失"的知识可被恢复

一篇挺有意思的机制分析：模型微调后"忘了"的东西其实还在，删掉一个方向就能捞回来，做微调的值得看看原理。

#微调 #灾难性遗忘 #Transformer #语言模型

arXiv cs.LG@Vedant Palit 等 5 人原文

论文 Agent 与开发者10:53

Gacha解码：通过指令跟随实现多样化生成

Gacha解码方法让语言模型通过'掷骰子'实现多样化生成，模型能力越强效果越好。

#Gacha Decoding #语言模型 #指令跟随 #生成多样性

arXiv cs.AI@Scott Geng 等 6 人原文

论文 Agent 与开发者10:25

分层连续扩散语言模型

新提出的HC-DLM模型解决了扩散语言模型的统计依赖问题，在多个任务上表现优异。

#HC-DLM #扩散模型 #语言模型 #结构化推理

arXiv cs.LG@Hui Ren 等 5 人原文

论文 Agent 与开发者10:23

ZFO优化框架：大模型微调新方法

MIT团队提出ZFO框架，用更少的计算量解决大模型微调步长选择难题，代码已开源。

#ZFO #大模型微调 #优化算法 #语言模型

arXiv cs.LG@Cristian McGee 等 3 人原文

论文 Agent 与开发者10:18

语言模型自修复机制研究：增益与反作用力

这篇论文揭示了语言模型"自修复"的数学本质，解释了为什么移除组件后其他部分会补偿。

#语言模型 #自修复 #Gemma #Qwen

arXiv cs.LG@Areeb Ahmad 等 3 人原文

论文 Agent 与开发者精选19:23

AI代币价值研究：网络文本中的缩放定律

新研究揭示AI代币在模型训练中的价值变化，提出能预测不同规模模型效果的缩放定律。

#AI代币 #缩放定律 #语言模型 #预训练

Tanishq Abraham (论文推介)@iScienceLuvr原文

论文 Agent 与开发者12:38

AI生成文本对模型训练的影响研究

斯坦福团队发现AI文本训练模型有临界点，超过反而有害，还发布了新数据集。

#WildAI #scaling laws #预训练 #AI生成文本

arXiv cs.LG@Jenna Russell 等 7 人原文

模型 Agent 与开发者12:36

OpenTSLM TeeMoE统一时间序列语言模型

OpenAI发布TeeMoE模型，能同时处理时间序列预测、上下文预测和语言推理，在三个基准测试中排名前三。

#OpenTSLM #TeeMoE #时间序列 #预测模型

arXiv cs.LG@Tony Chen 等 11 人原文

论文 Agent 与开发者12:34

连续扩散语言模型的分布匹配蒸馏方法

OpenAI新研究提出两种蒸馏方法，大幅降低扩散模型计算成本，4次评估即可生成1024个高质量token。

#扩散模型 #分布匹配蒸馏 #Simplex-DMD #Reinforce-DMD

arXiv cs.LG@Paul Le Van Kiem 等 4 人原文

论文 Agent 与开发者10:14

低差异抖动优化量化循环状态缓存

论文提出了一种确定性抖动方法，能显著提升量化语言模型在长文本生成中的性能，无需额外计算成本。

#Mamba #量化 #循环状态 #Weyl抖动

arXiv cs.LG@Snigdha Chandan Khilar原文

论文09:39

ER-JEPA：经验回放提升语言模型联合嵌入预测学习

研究人员提出ER-JEPA，通过经验回放机制提升语言模型预测准确性，在多个基准测试中表现更好。

#ER-JEPA #LLM-JEPA #语言模型 #联合嵌入预测

arXiv cs.AI@Jingnan Pu 等 3 人原文

论文 Agent 与开发者官方一手精选22:45

语言模型树结构表达式序列化研究

苹果研究团队揭秘语言模型如何处理树结构信息，16个模型往返测试揭示序列化瓶颈。

#语言模型 #序列化 #树结构表达式 #苹果研究

官方一手Apple ML Research原文

论文 Agent 与开发者精选20:36

Telescopic Language Models 发布

新发布的 TLM 模型通过独特的前缀监督方法，实现了在任意深度都保持有效语言模型的能力。

#Telescopic Language Models #Transformer #语言模型 #前缀监督

Tanishq Abraham (论文推介)@iScienceLuvr原文

论文 Agent 与开发者73°20:35

ROFT提升智能体模型无需强化学习

ROFT方法让智能体通过自我解释就能提升性能，比强化学习简单多了。

#ROFT #智能体 #微调 #语言模型

Tanishq Abraham (论文推介)@iScienceLuvr原文

模型 Agent 与开发者多源确认83°19:21

李飞飞谈三维世界与语言模型的本质差异

李飞飞解释为什么三维空间智能比语言模型更复杂，物理世界有真实约束。

#Fei-Fei Li #World Labs #三维世界 #空间智能

事件专题

a16z@a16z3 个信源在谈原文

模型 Agent 与开发者21:36

Apollo模型问世：专攻古希腊莎草纸修复

奥地利团队推出Apollo模型，能读懂古希腊莎草纸，让古籍修复不再只靠少数专家。

#Apollo #古希腊语 #Mistral #古籍修复

IT之家原文

论文 Agent 与开发者08:01

语言模型在干净基准测试中表现良好，但在实际应用中仍可能遇到困难

作者分享了从原型结果到生产环境的评估实践，对想了解如何将模型部署到实际应用中的人有用。

#提示词工程 #评估实践 #语言模型

GitHub@github原文

模型中美对照08:47

AI 模型 Tilly Norwood 出现采访中语言错误

朋友，你肯定听说过 Tilly Norwood 这个新 AI 模型，它最近在媒体上很火。不过它好像有点小问题，在一次采访里居然说中文了，这有点尴尬。

#Tilly Norwood #AI #多模态 #语言模型

techcrunch@Amanda Silberling原文

论文 Agent 与开发者精选10:23

一种针对混合专家语言模型的专家剪枝方法 HOPE

研究团队提出的新方法 HOPE，通过考虑专家间的协同作用来优化混合专家语言模型的剪枝过程，在 122B 参数模型上测试，HOPE 在 50% 剪枝率下比 REAP 等方法性能更好，在代理任务上提升达 6.1%，证明了其有效性。

#Mixture-of-Experts #剪枝 #语言模型 #代理任务

arXiv cs.AI@Alex M. Tseng 等 5 人原文

论文 Agent 与开发者10:33

语言模型难以区分诚实与说谎的奖励渠道

这个研究挺有意思，作者测试了几个大模型，发现它们在奖励渠道被篡改时能很好识别说谎者，但在奖励没变时，会错误地判断诚实者，这个现象挺有趣的。

#Qwen #Llama #语言模型 #奖励机制

arXiv cs.LG@Arman Nik Khah原文

模型中美对照23:56

Claude Fable 5.1语言较前代更'轻量级'

想了解Claude Fable 5.1语言风格变化，和Fable 5相比有何不同？这篇文章值得一读。

#Claude #语言模型 #Fable 5.1 #写作风格

官方账号Decoder@Matthias Bastian原文

论文 Agent 与开发者精选73°09:36

RiLM: 通过测地线解码实现高效语言建模

研究人员提出RiLM模型，用测地线解码替代传统输出层，小模型性能翻倍。

#RiLM #语言模型 #参数效率 #测地线解码

arXiv cs.AI@Fang Li原文

论文 Agent 与开发者11:18

LLM决策审计中评估工具影响比人口偏见更显著

这篇论文揭示了LLM审计中评估工具设计比人口偏见更能影响结果，对AI公平性评估有重要启示。

#LLM #AI公平性 #决策审计 #偏见评估

arXiv cs.AI@Siddharth Vohra, Manikandan Ravikiran原文

论文 Agent 与开发者11:31

Transformer模型上下文区分测量工具包技术手册

研究人员发布了一套开源工具包，可测量Transformer模型如何区分同一词在不同上下文中的含义，包含完整流程和避免常见偏差的方法。

#Transformer #语言模型 #上下文区分 #测量工具包

arXiv cs.AI@José Luciano Verçosa Marques 等 5 人原文

论文 Agent 与开发者78°09:40

RISE：递归改进通过自我外推策略蒸馏

RISE方法解决了传统蒸馏中教师质量瓶颈问题，用模型自身轨迹构建教师，在多项任务中超越现有方法。

#RISE #RLVR #策略蒸馏 #语言模型

arXiv cs.AI@Yang Li 等 3 人原文

论文11:25

语言模型欺骗研究的因果框架

这篇论文提出了语言模型欺骗研究的因果框架，区分了欺骗行为与欺骗机制，通过实验验证了看似欺骗的行为不一定有相应机制支持。

#语言模型 #欺骗机制 #因果框架 #开源模型

arXiv cs.AI@Yakov Pyotr Shkolnikov原文

论文精选73°11:51

UE5M3 FP4块缩放实现稳定语言模型预训练

NVIDIA提出新方法让FP4预训练更稳定，训练速度提升21.2%，模型性能全面超越现有方案。

#Nemotron-H #FP4 #UE5M3 #量化训练

arXiv cs.LG@Robert Hu 等 3 人原文

论文11:44

语言模型概率预测一致性研究

荷兰书利润方法评估语言模型预测一致性，发现模型在概率预测上存在显著不一致，尤其在复杂逻辑关系下更明显。

#语言模型 #概率预测 #荷兰书 #一致性

arXiv cs.LG@Isaiah Andrews, Suproteem Sarkar原文

论文 Agent 与开发者精选73°10:02

CivBench：文明VI中的长期智能体基准测试

MIT团队发布文明VI智能体基准测试，揭示AI在长期规划中的监控和执行缺陷。

#CivBench #文明VI #智能体 #MCP

arXiv cs.AI@Austin Tudor David Andrews 等 6 人原文

论文精选73°09:07

语言模型逻辑有效性研究

这篇论文揭示了语言模型内部逻辑表示与行为表达的分离现象，对理解LLM推理机制有重要价值。

#transformer #逻辑推理 #语言模型 #隐藏状态

arXiv cs.LG@Smitha Muthya Sudheendra, Jaideep Srivastava原文

论文10:49

CordisBench评测语言模型组件生命周期推理能力

CordisBench基准测试了模型在动态代理环境中的组件生命周期推理能力，发现模型随复杂度增加可靠性下降，GPT-5.6 Luna在中等推理下每题需近3000个token。

#CordisBench #语言模型 #组件生命周期 #推理能力

arXiv cs.AI@Damien Sileo, Dimitri Kachler原文

模型精选73°10:43

多模态自回归扩散Transformer架构发布

新发布的架构融合了语言和视频模型优势，从零开始预训练，多模态处理能力强。

#多模态 #Transformer #自回归扩散 #视频模型

AI Will@FinanceYF5原文

论文10:50

语言模型预计算内存成本研究

论文揭示了预计算内存的重建成本和更新策略，对优化大模型上下文处理有实用价值。

#Llama-3.1-8B-Instruct #预计算内存 #键值缓存 #语言模型

arXiv cs.LG@Asa Shepard原文

论文精选73°16:57

语言模型如何组织道德知识

这篇论文揭示了语言模型如何以几何方式组织道德知识，发现模型能表示道德张力而非预判结果。

#道德基础理论 #语言模型 #MFT #几何结构

arXiv cs.AI@Orion Reblitz-Richardson原文

论文 Agent 与开发者精选09:47

Code World Model: Coding Agent as World Brain

Code World Model结合了语言模型和视频模型，通过编码代理实现世界大脑，为开放式世界模型提供新路径，值得了解。

#Code World Model #世界模型 #语言模型 #视频模型

事件专题

arXiv cs.AI@Yiwen Chen 等 3 人2 个信源在谈原文

模型精选18:50

IBM发布Granite 4.2系列模型，内置代理能力并开源

IBM开源了Granite 4.2系列模型，内置代理能力，规模大，功能强大，值得一看。

#Granite 4.2 #代理能力 #开源模型 #IBM

官方账号Decoder@Matthias Bastian原文

论文精选10:51

ConvergeFlow：语言流与可证明收敛到标记嵌入

Na-Li66团队发布了ConvergeFlow，这是一种基于嵌入空间的流语言模型，它通过改进训练方法，在性能上与现有模型相当，值得一试。

#ConvergeFlow #语言模型 #嵌入空间 #流模型

arXiv cs.AI@Na Li 等 4 人原文

论文17:20

AI或使科学家工作更糟，而非更好，研究称

这项研究揭示了AI可能对科研工作带来的负面影响，值得科研工作者关注。

#AI #研究 #科研工作 #语言模型

官方账号Decoder@Jonathan Kemper原文

产品精选15:43

Netflix测试语言模型替代手工推荐逻辑

Netflix尝试用自家语言模型GenRec替代传统推荐逻辑，效果提升显著，值得一试。

#Netflix #GenRec #推荐引擎 #语言模型

官方账号Decoder@Jonathan Kemper原文