用大脑网格细胞做记忆架构,训练只看 40 个符号,测试能反转一万五千个符号的字符串,Transformer 做不到的 5 个任务它都解了。
Papers
arXiv 上一个免训练的推理技巧:找出几条推理轨迹的分岔点,借别的轨迹补生成,Qwen2.5-7B 在 MATH 上覆盖率从 89% 提到 91%。
给自动驾驶世界模型加新目标不用再重训了,采样时注入能量引导就行,三个公开 WAM 都涨了 1.8 到 3.6 EPDMS。
研究团队测了三种检索架构,持久化子代理在多轮对话里省了近一半 token 和成本,做 agent 的可以参考这些数字。
研究了量化剪枝为什么在大模型上更伤——用 attention heads 消融分解把补偿和真实损失拆开了,做模型压缩的可以看看。
外科手术版的 DINOv3,用近 2900 小时手术视频训练出的开源视觉编码器,20 个手术任务全胜,做医疗影像的可以拿来当 backbone。
把自然语言指令翻译成规划器能执行的符号目标,用微调加自排序两步提升准确率,做具身智能体的可以看看论文里的 CORE 方法。
aiXcoder 训了个 4B 小模型专门干代码合并这件事,准确率超过 Deepseek-V3.2,延迟从 50 秒砍到 1.89 秒,已经在他们 IDE 插件里跑起来了。
AMD's FP8 attention path has lagged NVIDIA's, partly because the MI355X lacks hardware tracking of matrix instruction completion, making software scheduling critical. ZYFA shows that careful kernel design can close much of that gap, and its open-source release gives engineers a drop-in option for MI355X prefill workloads. Teams benchmarking AMD accelerators against H100 or B200 deployments, including those running DeepSeek-style MLA, should test it against their current AITER setup.
arXiv 上这篇聚合物性质预测的论文挺有意思,用几何分片代替人工化学规则,还把 3D 构象信息加进去,预测精度有提升,做材料方向的同学可以看看。
搜索型智能体上下文越滚越大的老毛病,这篇论文用注意力熵给检索块打分,延迟降 30%、token 省 45%,成功率还涨了 2.35 个点。
数学圈好消息:KAN 网络的表达能力第一次有了紧的上界和下界,还证明深度大于等于 2 时线性区域比 ReLU 网络多出多项式倍,搞理论的朋友可以细看。
训练小模型的人可以看看这篇:CoRD 改进在线策略蒸馏,Qwen3 系列 0.6B 到 4B 上数学基准 pass@1 平均多涨约 1 到 2 个点,收敛还快 5 倍。
一篇挺扎心的审计论文:老一套的类不平衡方法在去掉数据泄漏后基本没用,做医疗影像的人建议都看看这套诊断协议。
把决策模型当 RL 的起跑器:智能体第一局就拿到奖励,7 个任务全赢纯 RL,还附了怎么写任务描述的指南。
训练长程 Agent 时只有最终结果奖励不够用,这篇用模型自己的注意力给中间步骤发奖励,ALFWorld 成功率从 91.2% 拉到 97.1%,代码开源可复现。
三个开源模型上做的对照实验,量化了模型“学来的信念”到底值多少条证据,做可解释性的朋友可以看看。
做 3D 头像的朋友可以看看,高斯 splatting 重建出的脸容易糊和拉伸,这篇用一步扩散模型修图,还不用逐帧跑,代码已开源。
NTT 的团队做了个有意思的研究:光看物体碰撞时的表面形变,就能推断里面有没有空腔、在哪。对做机器人和无损检测的人很实用。
删数据不用重新训练模型,这论文给出了不用保留原始数据的增量遗忘方案,transformer 上删 20 类还很稳。
标注数据太贵?这篇论文教你用 TANN 和 EPIC 挑最有价值的行,标注 5-10% 就能达到八成性能,还顺手提升 GBDT。
The architectural split between 3D state prediction and rendering avoids the drift that plagues video-frame-recurrent world models, and the laptop-scale latency shows the approach runs on consumer hardware rather than data-centre GPUs. Developers building playable-world or interactive-simulation demos can download the code and weights and extend the framework to other games or rule-based gameplay. It compares with video-only world models like Genie-style systems by trading appearance realism for spatial persistence and control.
实验设计挺巧的:给 GPT-6 一个只能算数不能读权重的工具,审计临床模型的效果和白盒一样好,对做模型审计的人很有参考价值。
The physics framing turns schedule design for masked diffusion decoding into a geometry problem, giving practitioners a principled way to choose unmasking steps instead of heuristics. Builders working on parallel decoding, such as teams tuning LLaDA- or Mercury-style diffusion LMs, can use the closed-form metric to cut error at a fixed step budget. The finding that errors concentrate early for long-correlation text directly informs how to allocate compute across generation steps.
一篇把智能体思路用在视觉任务上的论文,给 MLLM 加了放大和高亮两个工具,在 PSG 基准上拿了第一,做视觉推理的可以看看。
一篇去雾新论文,思路挺特别:不估大气参数,改学光在雾里能传多远,在 CDD-11 和 RTTS 上效果都更好。
arXiv上一套知识图谱修复方案,用一个router决定LLM代理什么时候去外部检索证据,六套测试里token更省、修复F1还更高,做图谱的可以看看
用推荐系统思路预测台风会打乱哪些港口、影响几天,Wide & Deep 模型比距离基线高出 55%-85%,做物流和防灾的可以看看方法。
这篇论文用 Claude Code 实测了语法树、调用图等五种代码地图,发现主要价值在省 token,定位类任务最多省 39%,写补丁类就没啥优势了。
想在 Pythia-70M 里定位出控制 are/is 输出的具体特征,删掉就变单数,Gemma-2-2b 和 Llama-3.1-8b 上也复现了。
机器人扩散策略想用 RL 微调但算不动?这篇 LARBRID 只优化初始噪声分布,速度提上去了,成绩还能涨 2-3 倍,代码开源可以跑。
arXiv 上一篇理论论文,把满足化学习规则改写成贝叶斯估计器 ACB,还证明不可达目标下探索不会收敛,喜欢决策理论建模的可以看看推导。
用 30 年病史训练 EHR 模型预测结直肠癌,发现回看 18 年效果最好,还顺带指出了 RoPE 处理长时间的问题。
一篇改进 kNN 的小论文:不再全局定一个 k,而是用遗传算法学出按每个样本自适应选 k 的策略,还附了 12 个数据集的实验和泛化证明。