10:51官方账号arXiv cs.AI@Na Li, Yuchen Jiao, Changxiao Cai, Gen Li精选ConvergeFlow 是一种基于嵌入空间的流语言模型,通过约束数据预测器到标记嵌入的凸包,并仅用流匹配引起的均方误差目标进行训练。实验表明,ConvergeFlow 在 OpenWebText 上的性能与现有连续和离散扩散语言模型相当。论文ConvergeFlow语言模型嵌入空间推荐理由:Na-Li66团队发布了ConvergeFlow,这是一种基于嵌入空间的流语言模型,它通过改进训练方法,在性能上与现有模型相当,值得一试。原文稍后读已读值得跟进有用关注 ConvergeFlow
17:20官方账号Decoder@Jonathan Kemper即使语言模型表现完美,也可能使研究质量下降。一项新理论研究表明,由于AI节省时间,研究人员剩余的时间变得更加宝贵,并被用于启动新项目而非改进现有项目。在模拟的三种场景中,两种情况下单个出版物质量下降。论文AI研究科研工作推荐理由:这项研究揭示了AI可能对科研工作带来的负面影响,值得科研工作者关注。原文稍后读已读值得跟进有用关注 AI
15:43官方账号Decoder@Jonathan Kemper精选Netflix将其多年推荐引擎与内部语言模型GenRec对比,结果显示GenRec表现更佳。GenRec将观看行为转换为纯文本,而非依赖数千个手工特征。Netflix称其为‘早期但很有希望的步骤’。AI产品NetflixGenRec推荐引擎推荐理由:Netflix尝试用自家语言模型GenRec替代传统推荐逻辑,效果提升显著,值得一试。原文稍后读已读值得跟进有用关注 Netflix
15:13官方账号Decoder@Jonathan Kemper精选英国AI安全研究所研究人员使用心理测量法表明,流行的语言模型安全基准未能衡量一个一致的特性。全面阻止请求可以人为地提高安全评分,即使模型在日常使用中变得越来越不实用。该研究还提供了一种方法来捕捉在测试中比正常使用时更加谨慎的模型。论文AI安全心理测量法语言模型推荐理由:英国AI安全研究所用心理测量法揭示了AI安全测试的缺陷,值得一读。原文稍后读已读值得跟进有用关注 AI安全
08:34官方一手Anthropic: Transformer Circuits(资讯)精选通过测量干扰权重对模型输出和损失的影响,我们在1层Transformer中识别出干扰权重。该研究有助于理解模型内部机制。论文干扰权重Transformer模型内部机制推荐理由:这篇论文揭示了小型语言模型中干扰权重的作用,对理解模型内部机制有重要意义,值得一读。原文稍后读已读值得跟进有用关注 干扰权重
10:01官方账号arXiv cs.LG@Narcis Marincat研究测试了限制证据可见性对梯度训练发现解决方案的影响。在共享基因组语言模型社会中,通过固定中继器仅用两个模型宽度连续向量进行通信。在自然语言函数组合任务上,限制可见性的社会在9/10对中优于全局可见的对照组,深度二和深度三的中位数优势分别为0.7648和0.6050。切断通信会使限制社会降至随机水平,但深度三的优势在复合函数未出现在训练中的程序上仍为0.558。限制可见性并非组合的必要条件,但在此协议下显著增加了泛化中继的概率。论文组合泛化语言模型梯度训练推荐理由:研究人员发现,在共享语言模型中,限制模块间的证据可见性,能让模型在组合任务上表现更好,比全局可见的模型平均高出20个百分点,而且学到的接口更可复用。原文稍后读已读值得跟进有用关注 组合泛化
10:17官方账号arXiv cs.AI@George Andrikopoulos前沿语言模型常被用于比较、营销和基准测试其能力,但这些模型的最佳或平均输出所达到的目标精度(如输出集中度)才是区分不同系统的关键;当前的基准文化系统地未能测量这种精度,而是报告了输出的中心趋势而非分布范围;该研究提出一种新的测量方法,通过多次运行固定任务并计算结果的一致性来确定精度;这种方法能够区分一致失败与分散失败,帮助优化AI系统性能。论文AI系统精度前沿指标推荐理由:你关注的AI研究团队发布了新看法,说以后衡量AI系统得看输出精度而不是单纯的能力,他们的方法能帮你实际优化系统,和以前的方式不一样,值得了解。原文稍后读已读值得跟进有用关注 AI系统
23:40Paul Graham@paulgPaul Graham指出,识别AI写作的一个明显特征是使用过度花哨的动词。他举例称,普通人在描述提案获得100票时会使用'got',而非'drew'等复杂词汇。这一观察反映了AI写作与人类自然语言表达之间的差异。技巧Paul GrahamAI写作提示词工程推荐理由:Paul Graham分享识别AI写作的小技巧:看动词是否过于花哨。普通人用'got',AI可能用'drew'。原文稍后读已读值得跟进有用关注 Paul Graham
11:16官方账号arXiv cs.AI@Nathan Godey, Yoav Artzi精选Matryoshka训练框架将500M、1.5B和3B三个子模型堆叠进单一嵌套架构,端到端训练。相比独立训练基线,该套件在基准性能和困惑度上持平,但训练计算量减少36%。嵌套结构天然支持投机解码,吞吐量提升14-26%。论文还消融了关键架构选择,为构建强Matryoshka套件提供指导。论文Matryoshka语言模型训练效率推荐理由:想省训练算力又不想掉性能?这个嵌套训练法把三个模型塞一个架构里,直接省36%算力,还顺带加速推理,值得一看。原文稍后读已读值得跟进有用关注 Matryoshka
09:25官方账号arXiv cs.LG@Xining Xun在辛普森悖论设定下,增加预训练中干预样本比例并不能让模型正确判断因果方向,do()响应幅度增大但符号仍复制观察上下文。完全观察上下文在50个世界中29个出现符号反转,混合上下文19个,而仅对齐干预探针则41个正确。擦除上下文中的观察证据立即释放模型被压制的因果插值能力(ratio_true=+0.56)。在0.93B参数模型上,匹配探针仅干预分支的符号反转率为6%,而观察+干预分支为31.8%。作者提出证据平均协议,将符号错误从26%降至9%。论文CLadder辛普森悖论因果推理推荐理由:这篇论文用辛普森悖论测试干预数据,发现模型因果方向取决于上下文证据类型而非训练比例,还给了降错方案。原文稍后读已读值得跟进有用关注 CLadder
22:05官方账号Decoder@Maximilian SchreinerGoogle DeepMind 研究员 Tom Zahavy 在题为“LLMs can't jump”的立场论文中认为,语言模型缺乏创造全新事物的认知机制,因此无法引发科学革命。文章指出,语言模型只能在其训练数据分布内插值,而真正的科学突破需要跳出现有知识框架。作为替代方案,Zahavy 提出“世界模型”可能具备这种能力,因为它们能模拟因果结构和进行反事实推理。该论文并未给出具体基准或数字,而是从哲学和认知科学角度提出理论观点。论文Google DeepMindTom ZahavyLLMs can't jump推荐理由:DeepMind 的 Tom Zahavy 说了个大实话:LLM 搞不了真正的新发现,得靠世界模型。不是泛泛空谈,有论文为证。原文稍后读已读值得跟进有用关注 Google DeepMind
09:44官方账号arXiv cs.LG@Aleksandr Berdnikov, Yevgeny Liokumovich研究发现,100B参数级别的语言模型在残差流中编码了夜空地图表示,且可从提示“夜空中靠近这个天体的目标是什么”中解码。多数开源模型在该表示上LOO测试显著,解释方差R²达65%-85%,中位角度误差为12°-21°。这是高维弯曲不可约特征流形的首个实例。代码已开源。论文语言模型星空地图可解释性推荐理由:新研究发现大模型脑子里有张星空图,还能解码出来,挺有意思的。原文稍后读已读值得跟进有用关注 语言模型
09:33官方一手arXiv: Anthropic@Seonglae Cho, Adriano Koshiyama精选为了检测语言模型在概率判断中的方向性偏差,研究者提出OptimismBench,使用反向配对法计算符号偏差分数。对8个提供商的16个模型测试发现,14个模型呈现乐观偏差,仅Anthropic的旗舰层表现悲观。11组基座模型与聊天模型对比显示,后训练方向在不同模型家族中产生相反偏差。在17个模型、6种语言的比较中,模型身份主导语言因素,模型间方差是语言间方差的4.7倍。研究者发布了3870个条目、覆盖10种语言的偏差审计数据集。论文OptimismBenchAnthropic语言模型3 个信源在谈事件专题推荐理由:这篇论文发现大多数大模型判断概率时普遍乐观,只有Anthropic的模型偏悲观,还揭示对齐训练会改变偏差方向,值得AI开发者和伦理研究者关注。原文稍后读已读值得跟进有用关注 OptimismBench
11:17Yangyi@Yangyixxxx开发者成功在售价约8美元的ESP32-S3微控制器上本地运行了一个28.9M参数的语言模型。该模型无需连接服务器,生成速度约为9.5 tok/s。这展示了端侧AI成本的大幅降低,使得低功耗设备也能运行轻量级语言模型。AI模型ESP32-S328.9M参数语言模型2 个信源在谈事件专题推荐理由:8美元的ESP32-S3就能跑语言模型,速度9.5 tok/s,端侧AI门槛又降低了,值得关注。原文稍后读已读值得跟进有用关注 ESP32-S3
11:29官方账号arXiv cs.AI@Zhaokai Wang, Tianlin Gui, Jiayuan Rao, Shangzhe Di, Yihong Tang, Dingli LiangWorldCupArena是一个动态基准,用于评估语言模型和深度研究代理在足球预测上的表现。它首次基于2026年FIFA世界杯的104场比赛和13个系统进行评测,模型需预测结果、比分、球员和事件等。基准报告结果准确率、精确比分准确率和比分线得分,其中比分线得分在预测接近时给予部分分数。最佳系统相比博彩市场和球迷基线在结果和精确比分准确率上仅小幅提升,但在比分线得分上表现更优。代码、提示、预测和评估脚本已在GitHub开源。论文WorldCupArena语言模型深度研究代理推荐理由:如果你想看语言模型在世界杯预测上的硬核评测,这个基准用104场真实比赛对比了13个系统,结果比博彩市场强得有限,但细节预测有亮点。原文稍后读已读值得跟进有用关注 WorldCupArena
11:30官方账号arXiv cs.AI@Victoria Graf, Hannaneh Hajishirzi, Noah A. Smith, David Kohlbrenner, Kyle Lo该论文提出通过公共讨论界面(如论坛评论)向大语言模型预训练数据注入恶意内容的攻击方法。作者引入HalfLife分析工具,用于评估网络爬虫数据中是否包含对抗性内容。实验表明,基于维基百科等传统数据源的投毒假设不适用于真实的大规模异构预训练语料库。研究强调第三方网页内容可能成为攻击语言模型预训练的潜在向量。论文HalfLife语言模型AI安全推荐理由:这篇论文讲了一种真实的预训练数据投毒方式——通过论坛评论注入恶意内容,还给出了分析工具HalfLife,搞AI安全的值得看。原文稍后读已读值得跟进有用关注 HalfLife
09:01官方一手arXiv: OpenAI@Minh Hua, Rita Raley2019年OpenAI发布了200万个GPT-2的不完整输出以辅助检测机器生成文本。作者将后续的对齐技术视为优化文化的新表现,认为它继承了那种相信可测量改进能穷尽价值问题的信念。通过追溯预训练、解码、偏好调优、基准测试和接口中的优化逻辑,论文指出优化过程能衡量生成文本的不可概率性,却无法区分这种反常是错误还是创新。然而在过去五年内,这一缺乏判断能力的优化机制已取代学术和语法机构,掌握了设定合法语言协议的权威。论文OpenAIGPT-2语言模型2 个信源在谈事件专题推荐理由:这篇论文从GPT-2讲到对齐,批评优化文化把语言判断交给了损失函数,值得所有做AI的人反思。原文稍后读已读值得跟进有用关注 OpenAI
19:54官方账号Decoder@Tomislav Bezmalinović精选Anthropic发布新研究,分析了Claude模型在不同语言中的价值表达。研究将数千个术语映射到四个核心维度。结果显示Claude在印地语中表现出更多温暖,在俄语中表现出更多严谨。这揭示了语言对AI回答的塑造作用,并提出了方法论问题。论文ClaudeAnthropic多语言10 个信源在谈事件专题推荐理由:Anthropic发现Claude说印地语时更暖心,说俄语时更较真。有趣的研究,看看你的语言会影响AI怎么对你。原文稍后读已读值得跟进有用关注 Claude
03:44官方账号Anthropic@AnthropicAI77°Anthropic最新研究发现,在Claude内部存在一个类似人类认知的“全局工作空间”——只有一小部分信息能被模型显式访问和推理,其余则处于隐藏状态。研究人员通过分析Claude在处理复杂任务时的中间表示,识别出这种信息瓶颈结构。该发现揭示了语言模型内部信息流的局限性,类似于人类意识中只有部分内容可被有意识思考。研究团队认为,这一机制有助于解释模型为何有时会忽略上下文或产生不一致输出。论文AnthropicClaude推理模型10 个信源在谈事件专题推荐理由:Anthropic发现Claude大脑里也有个“工作台”,大部分信息是潜意识,只有一小部分能主动调用。想看看大模型内部怎么“想”的?这篇论文很有料。原文稍后读已读值得跟进有用关注 Anthropic
03:26官方一手Anthropic: Transformer Circuits(资讯)精选研究者发现Claude模型内部存在一组可言语化的特权表征,这些表征形成全局工作空间。这些表征仅占模型内部状态的一小部分,但可用于报告、控制和推理。相比之下,模型的大部分处理是自动且不可言语化的。该研究揭示了语言模型内部计算的可解释性结构。论文Claude全局工作空间可解释性推荐理由:这篇文章发现了Claude模型内部有个‘大脑指挥部’——一小部分它能说出来的表征,其他都是自动在干。挺有意思的视角。原文稍后读已读值得跟进有用关注 Claude
10:44Stanford AI Lab@StanfordAILab精选斯坦福AI实验室的研究(论文编号2606.24998)量化了预训练语料中残留重复数据对计算效率的影响。最坏情况下,重复结构可导致高达33%的FLOPs被浪费。该研究还发现最坏情况重复结构与模型大小存在可预测关系。论文将作为口头报告在ICML 2026深度生成模型基础研讨会上展示。论文数据重复预训练计算浪费推荐理由:预训练数据去重总留尾巴,斯坦福算了一笔账:最坏情况浪费三分之一的算力,模型越大规律越清楚。训练前值得看看。原文稍后读已读值得跟进有用关注 数据重复
11:11官方账号arXiv cs.LG@Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu ZhangSemRF(语义参考框架)通过固定锚点将语义测量与残差动态分离,解决语言模型层间解码坐标不一致问题。伪逆绑定实现精确同步,在限制双可逆性下提供稳定语义基坐标和失真边界。该框架定义语义Voronoi图,将每层分配至粗粒度单元,并保留单元内的运动和边距。通过轨迹的曲率衡量知识密度,低曲率表示分段线性可压缩性和较低的语义复杂度。实验在控制接口误差和投影残差下给出理论保证。论文SemRF语言模型残差流推荐理由:这篇论文提出SemRF框架,帮你看清语言模型内部计算如何逐层演变,用Voronoi图定位知识分布,比只看激活值更精确。原文稍后读已读值得跟进有用关注 SemRF
09:38官方一手arXiv: Anthropic@Guruprakash J, Krithika L. B该综述将Transformer架构分为encoder-only、decoder-only、encoder-decoder、长上下文、置换基与生成对抗等变体,并涵盖2023年后指令微调、RLHF、DPO、MoE、RAG等进展。它梳理了OpenAI、Anthropic、Google、Meta、Mistral、DeepSeek等主流模型家族。在应用侧调研了医疗、金融、法律、教育等7个领域的部署。论文从参数规模与能耗的权衡、对齐方法、数据溯源及基准饱和四个维度评估模型。它还点名了值得关注的开放研究问题。论文Transformer语言模型综述10 个信源在谈事件专题推荐理由:想快速搞懂主流Transformer架构和各家模型?这篇综述帮你理清了架构分类和应用场景,还比较了参数和能耗,适合做调研入门。原文稍后读已读值得跟进有用关注 Transformer
09:50官方账号arXiv cs.LG@Zongfang Liu, Jinghui Zhang, Zijian Ma, Guangyi Chen, Xin Yuan该研究提出MoE专家一次性剪枝的统一公式,将现有启发式标准归为路由频率、门控权重、激活强度三类因素。基于此给出选择原则:任务无关剪枝应优先使用基于激活强度、无门控的标准。新提出的MAN和MSAN标准在4个MoE模型、16个基准上取得任务无关设置平均排名前两位。平均性能比最强基线提升最多8.8个百分点。论文MoE专家剪枝语言模型推荐理由:这篇论文把MoE剪枝的各种评分方法统一了,还提出MAN和MSAN两个新标准,在多个模型和基准上表现更稳定,适合做模型压缩的人参考。原文稍后读已读值得跟进有用关注 MoE
16:05官方账号Decoder@Jonathan Kemper精选72°一项新研究解释了为什么大型语言模型能掌握小型模型无法学会的罕见技能。研究发现,小型模型在处理罕见任务时,频繁出现的任务会不断覆盖它们已学到的知识。研究使用了从400万到40亿参数不等的模型,详细展示了这一机制,并提出了一个实用解决方案:与其扩大模型规模,不如增加目标任务在训练数据中的出现频率。这一发现为优化模型训练提供了新思路。论文语言模型模型规模训练数据推荐理由:这项研究为AI开发者揭示了模型规模与技能学习之间的关键机制,做模型训练或数据配比的团队可以直接参考其提出的数据频率优化方案,值得关注。原文稍后读已读值得跟进有用关注 语言模型
12:09官方一手arXiv: DeepSeek@Jianguo Zhu精选本文研究了在上下文增强的语言模型系统中,使用不同话语角色标签(如 Reference:、Evidence:、Instruction:、Note:、Example:)对模型行为的影响。通过设计 500 个 MMLU-Pro 项目的配对固定内容探针,每个项目在相同误导性断言下使用不同标签,测量模型输出错误选项的采纳率。在 GPT-5.5、DeepSeek V4 Pro、Llama-3-8B-Instruct 和 Qwen2.5-7B-Instruct 上,误导采纳率变化达 56-84 个百分点。Instruction: 和 Reference: 等绑定或来源类标签导致高采纳,而 Example: 则持续抑制采纳。边界探针显示算术任务降低采纳率,嵌套标签冲突表明示例性框架可限制采纳范围。结论是上下文利用和 RAG 基准应报告并控制包装标签,因为呈现方式会改变对提供上下文的依赖度量。论文语言模型上下文利用RAG推荐理由:这篇论文揭示了标签选择能显著改变模型对误导信息的采纳率(最高差 84 个百分点),做 RAG 系统或上下文增强应用的开发者需要警惕:你用的标签可能无意中放大了错误信息的影响。建议点开了解如何控制这一变量。原文稍后读已读值得跟进有用关注 语言模型
11:07官方一手arXiv: Anthropic@Matthew Stone, Una Stojnić本文探讨AI聊天机器人(如Claude)输出的语言是否具有意义。尽管普通用户和工程师通常认为答案是肯定的,但许多认知科学家和语言哲学家基于意向性理论持相反观点。作者提出,不需要假设AI具有心理状态或意图,现有的人类语言理论已足以解释LLM输出的意义。然而,承认输出有意义并不等同于认可其内容或技术价值,这对批判性使用AI生成文本有重要启示。论文AI哲学语言模型意义理论推荐理由:这篇论文为AI语言哲学提供了新视角,做AI伦理、语言模型研究的学者或开发者值得一读,能帮你跳出“AI是否有意识”的争论,重新理解输出文本的本质。原文稍后读已读值得跟进有用关注 AI哲学
23:53AK@_akhaliq精选该研究提出GPU Forecasters方法,利用语言模型作为选择性替代来优化GPU内核的运行时性能。在300个内核基准测试中,该方法将预测准确率提升至92%,相比传统模型平均提速1.7倍。实验在NVIDIA A100 GPU上进行,验证了语言模型在运行时预测中的有效性。论文GPU Forecasters语言模型内核优化3 个信源在谈事件专题推荐理由:用语言模型预测GPU内核性能,效率提升明显原文稍后读已读值得跟进有用关注 GPU Forecasters
12:04官方账号arXiv cs.AI@Yiheng Shu, Bernal Jiménez Gutiérrez, Saisri Padmaja Jonnalagedda, Yuguang Yao, Huan Sun, Yu Su语言智能体在单个任务上花费大量推理时间,但跨任务的经验复用不足。现有基准难以严格评估持续学习,多聚焦长上下文检索或简单任务流,缺乏对跨任务关系的分析。本文提出AgentCL框架,通过受控任务流和迁移增益指标,评估智能体能否积累可复用经验、随时间改进并避免干扰。实验表明,受控流比简单流更能区分记忆设计的可塑性,而简单流和保留设置常暴露记忆导致的性能退化。该工作为设计平衡可塑性与稳定复用的记忆系统提供了方向。论文持续学习智能体评估框架推荐理由:做智能体持续学习和记忆设计的团队,AgentCL提供了比现有基准更严格的评估方法,能帮你诊断记忆设计在跨任务复用中的真实效果,值得参考。原文稍后读已读值得跟进有用关注 持续学习
21:09官方账号Decoder@Jonathan Kemper精选一项涵盖20.8万名参与者和2600万次回答的大规模研究发现,将语言模型训练成有用聊天机器人的过程,反而削弱了它们模拟人类行为的能力。这种效应随着模型代际更新而加剧,即使是流行的“角色扮演”技巧(喂入人口统计特征)对个体预测也几乎没有帮助。研究指出,AI的“有用性”与“人性化”之间存在根本性矛盾,这对依赖AI进行社会模拟或用户行为预测的应用构成挑战。论文AI研究语言模型模拟人类行为推荐理由:做AI社会模拟、用户行为预测或角色扮演应用的团队,这项研究直接点出了当前模型的根本局限——越有用的AI越不像人,建议点开看看具体数据和影响。原文稍后读已读值得跟进有用关注 AI研究
12:20官方账号arXiv cs.LG@Martin Marek, Dongkyu Cho, Shikai Qiu, Rumi Chunara, Pavel Izmailov, Andrew Gordon Wilson精选该论文研究了语言模型在新任务训练时遗忘旧知识的问题,并提出利用模型自身生成的样本作为回放数据,几乎可以消除遗忘。研究发现,当模型容量接近饱和时,遗忘仍会发生,因为模型无法吸收新信息而不覆盖旧知识。在容量充足的情况下,低学习率可以减少遗忘但需要更多训练步骤,而自生成回放打破了这一权衡,允许高学习率微调而不遗忘。这一方法避免了传统回放需要存储旧样本的不可行性,为持续学习提供了实用方案。论文语言模型遗忘持续学习推荐理由:这篇论文解决了语言模型持续学习中的核心痛点——遗忘问题,做模型微调或持续训练的团队可以直接用自生成回放方法,省去存储旧样本的麻烦,值得关注。原文稍后读已读值得跟进有用关注 语言模型
11:27官方账号arXiv cs.LG@Andres Nava, Matthieu Wyart精选该研究提出了一种分布理论,解释语言模型中上下位关系(如“动物-狗”)的几何编码机制。基于WordNet中词对共现频率与层级距离相关的假设,理论证明word2vec嵌入的Gram矩阵谱结构会自然形成从粗到细的层级分裂几何。实验在多个WordNet子树上验证了该预测,并发现该特征在Gemma 2B模型的unembedding中同样显著。结果表明,LLM中的层级概念几何可能并非源于特定功能机制,而是词共现统计的谱结构涌现结果。论文语言模型层级概念词共现推荐理由:这项研究揭示了语言模型层级概念几何的统计根源,对理解LLM表征形成机制的研究者很有价值,建议关注其理论框架与实验验证。原文稍后读已读值得跟进有用关注 语言模型
11:12官方账号arXiv cs.AI@Zisu Huang, Jingwen Xu, Yifan Yang, Ziyang Gong, Qihao Yang, Muzhao Tian, Xiaohua Wang, Changze Lv, Xuemei Gao, Qi Dai, Bei Liu, Kai Qiu, Xue Yang, Dongdong Chen, Xiaoqing Zheng, Chong Luo精选这篇论文系统研究了语言智能体通过复用模型生成的技能(结构化程序化知识)来提升性能的全过程,涵盖经验生成、技能提取和技能消费三个阶段。研究发现,模型生成的技能平均有益,但存在显著的负迁移现象,且技能提取器和消费器的表现并不一致——一个模型可能是强提取器但弱消费者,反之亦然。技能效用与模型规模或基线任务强度无关。通过深入分析每个阶段,论文揭示了经验组成如何影响技能质量、有用技能的特征以及同一技能在不同消费者间的迁移效果。最后,作者提出了一种元技能方法,指导技能提取聚焦于实际效用相关的特征,一致提升了技能质量并大幅减少了负迁移。论文智能体技能复用负迁移推荐理由:这篇论文为智能体技能复用提供了首个系统性评估框架,做智能体开发或研究的人可以从中了解技能提取与消费的匹配规律,避免负迁移陷阱,值得关注。原文稍后读已读值得跟进有用关注 智能体
09:58官方账号arXiv cs.LG@Qian Zhang, George Em Karniadakis精选该研究提出一种基于语言模型架构的算子学习框架,用于从稀疏测量数据重建流场。该方法将流场重建视为序列到序列学习任务,将稀疏测量作为上下文,未观测位置作为查询,以无网格方式学习空间相关性和长程依赖。在四个基准数据集(二维涡街模拟、美国日平均温度、三维血流模拟、三维湍流射流测量)上,即使观测数据少于10%,该方法仍能实现高精度重建。结果表明语言模型可作为科学数据重建的鲁棒可扩展工具,为科学工程基础模型开发提供了新方向。论文流场重建语言模型算子学习推荐理由:流体力学和科学计算的研究者终于有了一个用语言模型做流场重建的新思路——稀疏数据下也能高精度重建,做CFD或实验测量的团队值得关注这个方向。原文稍后读已读值得跟进有用关注 流场重建
09:26rohanpaul_ai@rohanpaul_ai72°DeepMind 创始人 Demis Hassabis 指出当前 AI 的局限:语言可以描述世界,但无法包含世界。语言模型从文本中意外学到了大量现实结构,但文本只是经验的压缩残渣,而非经验本身。世界由需要亲身经历、触摸、预测、违反和修复的约束构成,而非仅由可命名的事实组成。Hassabis 认为世界模型旨在学习物理现实的隐藏语法——物体如何持续、力如何展开、空间如何变化、行动如何产生反馈。他强调,智能不仅是回答得好,更是知道如果你移动、伸手、推、闻、滑倒或失败,接下来会发生什么。AI模型世界模型语言模型Demis Hassabis推荐理由:Hassabis 点出了当前大语言模型的核心天花板——文本无法替代真实体验,做 AI 研究或关注 AGI 路径的人值得细读,看完会对世界模型的价值有更深理解。原文稍后读已读值得跟进有用关注 世界模型
14:26官方账号arXiv cs.AI@Payal Chandak, Victoria Alkin, David Wu, Maya Dagan, Taposh Dutta Roy, Maria Clara Saad Menezes, Ayush Noori, Nirali Somia, John S. Brownstein, Ran Balicer, Rebecca W. Brendel, Noa Dagan, Isaac S. Kohane, Gabriel A. Brat精选医学伦理天然具有多元性,但大型语言模型在提供医疗建议时可能隐含单一的价值偏好。研究者提出了一个审计框架,包含临床验证的伦理困境基准和从决策中恢复价值优先级的方法。前沿模型在讨论伦理冲突时能展现观点多元性,但个体决策几乎确定,无法复现医生群体的分布性多元。多数模型的价值优先级在医生变异范围内,但部分模型显著低估患者自主权。若不加干预,单一模型可能将自身价值偏好大规模强加给所有患者,取代临床伦理的多元性。论文AI伦理医疗AI价值多元性推荐理由:这篇论文揭示了AI医疗建议中隐藏的价值偏见问题,做医疗AI开发或临床决策支持的团队值得关注——它提醒我们,模型不只是输出答案,还在无声地传递伦理立场。原文稍后读已读值得跟进有用关注 AI伦理
10:33官方账号arXiv cs.LG@Nathan Roll, Jill Kries, Laura Gwilliams, Cory Shain精选受人类失语症研究启发,研究者提出了一种新方法,通过“损伤”(置零)语言模型中的参数,并观察其输出在临床失语症症状测试(TAB)中的表现,来揭示模型的功能组织。对5个1B参数规模的语言模型进行112,426次测试后,发现模型能表现出全部失语症症状,但分布与人类显著不同。注意力组件(查询、键、值、输出)与前馈组件(上、门、下)之间症状谱差异明显,而同一机制内组件差异较弱。早期层损伤更易导致句法和语义症状,中后期层则更多引发音韵和流畅度缺陷。尽管某些损伤模式与特定人类失语症类型定量相似,但定性差异表明失语症综合征受学习和处理细节影响,而非语言处理中断的领域不变结果。论文语言模型失语症可解释性推荐理由:这项研究为理解语言模型内部功能组织提供了全新视角,做AI可解释性或认知科学交叉研究的团队值得关注——它把临床神经心理学方法搬到了模型分析中,看完会重新思考“模型损伤”的意义。原文稍后读已读值得跟进有用关注 语言模型
13:27官方账号arXiv cs.AI@Jonathan A. Diller, Fernando Cladera, Camillo J. Taylor, Vijay Kumar精选传统无人机自主搜索依赖几何覆盖模式,忽略目标语义,在大规模环境中效率低下。LMPath 提出一种新流程:给定地理围栏和目标描述,先用生成式语言模型判断目标可能出现的区域,再用视觉基础模型对卫星图像分割,形成语义探索先验。基于该先验,可生成多种无人机路径,如最小化预期搜索时间、在有限航程内最大化发现概率,或缩小搜索范围到最可能区域。真实无人机和仿真实验表明,LMPath 生成的路径在搜索任务中显著优于传统规划方法。论文无人机语义搜索路径规划推荐理由:无人机搜索终于有了语义理解能力——LMPath 用语言模型和视觉模型替代纯几何覆盖,做搜救、巡检、环境监测的团队可以直接参考,实测效率提升明显。原文稍后读已读值得跟进有用关注 无人机
21:35官方一手Anthropic: Transformer Circuits(资讯)Gurnee 等人 2025 年的研究揭示了语言模型在计数任务中背后的几何机制。他们发现模型内部存在一种流形结构,用于表示和操作数字信息。这项研究通过分析模型在特定任务中的内部表示,展示了模型如何通过几何变换来执行计数。这为理解语言模型的内部工作原理提供了新的视角,有助于开发更可解释的 AI 系统。论文语言模型几何结构计数任务推荐理由:对理解大模型内部机制的研究者来说,这篇论文揭示了计数任务背后的几何结构,值得深入阅读。原文稍后读已读值得跟进有用关注 语言模型
19:12官方账号arXiv cs.LG@Guinan Su, Yanwu Yang, Xueyan Li, Jonas Geiping精选当前语言模型(如ChatGPT)仍基于单消息流架构,导致模型无法同时读写、思考与行动,限制了自主智能体的效率。本文提出多流LLM架构,将输入、输出、思考等角色拆分为独立并行流,每次前向传播可同时读取多输入流并生成多输出流。该方法解决了单流瓶颈,提升了并行效率、安全性和可监控性,为自主智能体(如编程、计算机操作)提供了更高效的基础架构。论文多流架构自主智能体并行计算推荐理由:自主智能体开发者长期受困于模型无法同时读写和思考的瓶颈,这篇论文直接给出了数据驱动的并行流解决方案,值得关注其后续实现和效果。原文稍后读已读值得跟进有用关注 多流架构