一篇离线RL的新论文,思路是不约束动作而是约束状态后果,用潜空间散度做可计算的替代,基准成绩有提升。
Latest
The hidden cost in FSDP training is often layout conversion and collective interference rather than compute, and TIDE shows both can be largely eliminated with standard NCCL APIs rather than custom hardware. Teams running large-model training on multi-node clusters can adopt it to reclaim step time and GPU memory without changing FSDP2's per-parameter kernels. The mixed-precision bf16-to-fp32 reduce-scatter is a capability stock NCCL lacks, making the implementation details directly reusable.
一篇把物理方程直接写进专家结构的 PDE 论文,17M 小模型反而打赢更大的 MoE-POT,做科学计算的可以看看代码。
这篇论文用孟加拉国 66 年数据证明:很多降雨预测模型的"高分"其实是数据泄露,气候学基线就能打平大部分机器学习模型,做时序预测的都该看看。
一篇成像方向论文:用扩散先验做后验采样,让叠层成像在低重叠扫描下也能重建准,做 X-ray 成像的可以看看。
马耳他团队把 14 个 VLA 模型搬到了海底沉船上真机实测,ACT 单任务策略完胜通用 SmolVLA,结论对做具身的很有参考价值,硬件套件也开源了。
一个能塞进神经网络的凸约束修正层,SOC-MPC 推理快了 144 倍还保证可行性,做优化控制或电力系统调度的可以看看实现思路。
一篇系统方向的论文:GearUp 把模型加载塞进 DAG 的空闲时段,延迟最高降到十分之一,内存还省九成,做推理服务的人可以看看。
搞科学计算的朋友看看这个:用in-context学习把560个PDE算子塞进一个25万参数的小模型,新PDE给几对演示就能直接预测,不用重新训练。
做医学影像或联邦学习的朋友可以看看:这篇论文说一个大数据站配小站点,比大家数据量均分训练效果更好,小站点数据也能被充分利用。
训练回归模型要用 PCC 或 CCC 做损失的话,这篇给了在小批量下估计梯度不偏的方案,两个变体开销都很小,可以直接试。
论文用一种很较真的注册式重放方法,证明 Adam 里调大 epsilon 不只是简单缩小低频词的步长,实验设计本身挺值得学。
这篇论文论证了纯堆数据学不会的东西:已知结构能保证的,有限数据学习永远差一截,还有精确证明,做方法研究的话很值得看
MoE 模型跑在边缘设备上会被专家权重搬运拖慢,这篇论文提出 CRISP,在 Mixtral-8x7B 上把吞吐拉到 2.1 倍,精度只掉 3.6%,做端侧部署的可以看看。
prompt injection 一直没好办法防,这篇用注意力门控把攻击成功率从 97% 压到 10%,还不太掉性能,做安全或 agent 的值得看。
伯克利团队用纯仿真训练 LEAP 手做任意姿态抓取,4800 个目标 95% 成功,安全过滤器还能减少 75% 掉落,方案全开源。
The non-obvious finding is that data composition, not raw task count, drives tool-use agent performance, giving teams a concrete recipe for allocating synthetic data budgets. Builders training or fine-tuning agents can apply SynthAPI's control axes to prioritize tool and database diversity over volume. Compared with prior synthetic environment generation work, this approach offers a quantitative scaling law rather than ad-hoc data curation.
训练 agent RL 太烧 rollout 预算的可以看这篇,EnvSched 在 Qwen3-8B 上 40 步就跑赢随机选任务 120 步的效果,省了三倍训练量。
不训练就能看球赛自动挑事件,靠解说文本加分镜省72%推理成本,还超过专门训练的SoccerNet模型,做视频集锦的可以看看。
作者把复数特征值随时间的缠绕路径变成一条拓扑辫子,再用 Burau 表示转成特征向量,四分类做到 97.1%,比不追踪特征值的基线 44.5% 高出一大截,图机器学习方向值得看看。
把 LLM 用在电商促销分配上,单 token 输出当转化概率用,A/B 测试里转化涨 1% 还省了 6% 促销费,思路挺有意思。
航空业终于有了公开的预测性维护数据集,9.2 亿时间步、9 个真实故障场景,想搞工业时序的同学可以拿来跑 baseline 了。
The paper turns a known failure mode of self-rewarding training into a predictive formula, giving practitioners a way to estimate safe dataset sizes before a run collapses. It also identifies two concrete mitigations, removing the shared coupling direction or adding a marginal-entropy bonus, that were validated on an actual Transformer. Researchers working on verifiable-reward training and anyone training reasoning models without labels will find the scaling laws directly applicable.
Niantic Spatial 做了个多视角扩散模型,把卫星图当额外条件喂进去,生成看不到的街景视角时布局不再乱编,连 3D 重建都不需要。
用图网络替掉自注意力,训练只到 512 长度就能零样本跑 400 万 token,线性内存还不爆显存,思路挺新鲜。
The practical payoff is a theoretical licence to merge DPO-aligned checkpoints: sparser, disentangled updates mean less interference when combining model variants. Researchers working on preference alignment or model merging can use the support-pair bounds to reason about how many samples actually shape a fine-tune. Teams choosing between DPO and SFT for multi-task pipelines get a concrete 35× interference reduction figure to weigh.
用 OpenAI 证明 Haldane 能隙那套方法,把 S=1 海森堡链基态唯一性证出来了,还坦承 ChatGPT 参与写证明,数学和 AI 协作两个角度都挺有意思。
一篇讲视频推理的新论文,思路是让模型在思考时能回看关键画面片段,不用塞进一堆帧,做视频理解方向的可以看看。
改进 Muon 优化器的论文:不硬压权重范数,改成投影掉径向分量,实测比 MuonH 省 15% token,训练 LLM 的可以看看。
新渲染基元 Hexels,六边形设计比 2DGS 省显存还更清晰,DTU 重建误差降了 28.9%,做 3D 重建的可以看看。
机器人圈的新论文:ThinkWorld 把动作推理拆成一串运动 token,让机器人直接从人类视频学操作,不用逐条标注动作。
这篇论文把 AlphaFold 的三角更新和格点 QCD 用同一个 Wilson Loop 框架串起来了,数学上挺漂亮,做关系推理和图模型的值得看看推导。
做大气化学或物理-机器学习混合建模的可以看看,能把 KPP 机制直接转成 JAX 可微分代码,做参数估计不用手推伴随了。
让模型在一个重力规律被改掉的世界里自己发现异常,12 个模型只有 GPT-6-Astra 做到一次,其余全挂,测试设计挺有意思。
一篇挺有意思的论文:测试了 Qwen2.5、Llama-3.1 和 DeepSeek 在群体讨论记忆上的表现,发现相关性筛选会引入干扰信息,去掉归属标签反而准 13-24 分。
Only the latest 2000 items are listed; for older ones see the daily archive