印度团队实测了 9 个主流 tokenizer 处理 25 种印度语言的开销,Odia 在 GPT-4o 上要多花 5 倍 token,Sarvam 的 tokenizer 差距最小。做多语言客服或按 token 预算的团队,选模型前值得查一下自己的语言在哪个 tokenizer 上最省。
Latest
做医学影像或不确定性建模的值得看:作者把条件熵加进 EDL 正则项,在 RIM-ONE-DL 等数据集上校准误差比 MC Dropout 和 Deep Ensembles 都低,还能用 Grad-CAM 看模型是否盯错了视盘。
眼科 AI 落地最怕漏掉微动脉瘤,这篇给了个能多提 10 个点 Dice 的开源方案。做医学影像分割的可以直接下代码复现,做 Mamba 架构改进的也能借鉴它的可变形扫描思路。
无人机上跑模型的团队值得看看这篇:它实测了 Alibi-Detect、NannyML、PyTorch-OOD 三个开源工具,不只看能不能检测出偏移,还测了耗时,这俩在机载设备上经常冲突。做模型监控选型前可以当对比清单用。
这项研究解释了为什么不同论文测组合泛化结论互相矛盾:很多基准里的模块序列其实功能等价,模型是在走捷径。做基准设计或评估模型泛化能力的开发者应该看看,结论会直接影响你怎么切训练测试集。
做 LLM 评测榜单的人可以看看这篇:在 Bradley-Terry 模型上加边级差分隐私,不只给排名,还给每个名次的置信区间和 top-K 检验,模拟实验和创意写作排名案例都有。要保护人类评委偏好数据时很实用。
搞 RLHF 或最大熵 RL 的朋友可以看这篇。以前理论界是 H^5,现在证明 H^3 就够,还首次给出带温度 β 的下界。做 RLHF 训练时要估采样预算的话,这篇能直接告诉你该按什么规模分配样本。
训练奖励模型时只盯一个注视点太粗糙了,这篇论文把注意力做成空间梯度分布,准确率确实涨了。做 RLHF 或对齐研究的同学可以看看这个建模思路。
做主动式智能体的开发者可以看看这篇。Coco 用独立的 Observer Agent 在本地观察桌面行为,判断什么时候帮你、什么时候别打扰,介入判断的 F1 提升了 2.4-3.0 倍。数据不出设备这点对企业场景很关键,还附带 OSWorld-Persona 基准可直接用来测自己的方案。
模拟电路调参不再需要云端大模型:4B 小模型本地跑仿真闭环,Pass@1 反超 DeepSeek 的 763B 模型近 49 个百分点,还能跨工艺节点迁移。做 EDA 工具或芯片设计的工程师值得把它加进工具链,论文附带 41 个拓扑的开源基准可直接复现。
做主动学习的朋友可以看看,作者把 ProbCover 的欧氏距离换成 Fermat 距离,在 8 个数据集上低预算标注场景表现更好,还给了理论保证。
做 LLM 推理服务的人可以看看这篇。vLLM 上跑的 ForeSpark 把草稿和验证长度一起调度,吞吐比 DSpark 高 1.77 倍,高负载下草稿浪费的算力能省下来。
这篇论文用核机器的谱分解把 ICL 的泛化和记忆讲成同一解的不同截断,思路很新颖。它还证明没有特征学习的模型也能做 ICL,并用高阶统计量解释了 transformer 的记忆行为。做理论研究和理解 ICL 机制的研究者应该看看。
做推理部署的可以看看:SMC 解码顺手就能算出序列级熵,不用额外跑补全。论文在 MATH500 上验证过,两遍策略用少 34.2% 的粒子就能保住 64 粒子的准确率,算力紧张的团队直接受益。
The non-obvious insight is that per-layer prefetch slack, not raw bandwidth, decides whether lookup tables fit on NVMe, DRAM, or remote memory — static hot sets transfer poorly for agent traffic. Inference engineers running DeepSeek-V4.1 or similar n-gram-augmented models on SGLang can reclaim roughly 180 GiB of host memory and convert it into KV cache, directly lifting throughput. Compared with simply scaling up DRAM, the RDMA option lets one table copy serve two instances, cutting per-node memory cost.
跑过 vLLM 智能体服务的人应该都见过那种莫名的性能崩塌,这篇论文把它解释清楚了:一次几小时的突发流量就能让命中率掉到 10%,吞吐腰斩还自己好不了。论文给了能用的预算器方案,不用调参,直接把 KV 池撑爆的可能性掐掉。
如果你在部署低比特量化的 Agent,这篇很值得看。它让 W4A16 量化模型的表现只差 BF16 一分以内,训练成本还比 QeRL 少 67% 的 GPU 时数。做端侧 Agent 或成本敏感推理的工程师可以直接参考。
做 AI 制药或分子生成的朋友可以看看,这篇用 PBPK 模拟给生成管线的筛选流程补了剂量暴露这一环,60 个 PARP1 候选里近三分之一会在这一步被筛掉或翻盘。如果你只依赖预测效力和毒性打分来选分子,这篇会改变你的评估思路。
Amazon 把训练 LLM 时那些损失曲线看不出问题的静默故障系统化排查了,61 个 bug 里有 32 个是无声的。做训练的同学可以照着七类失败模式对号入座,排查自己框架里有没有同类坑。
搞地震成像或黑洞成像的科研党可以看看这篇。它把物理方程直接揉进生成传输里,比条件扩散模型重建更准,推理还比 PnP 方法快最多五个数量级,代价敏感的大规模反问题模拟很用得上。
评测机构的私有题库和厂商的模型权重以前总有一方要妥协,这篇论文用H100安全飞地加PySyft让两边都能保密。试点直接跑了Gemini 2.5 Flash Lite和AILuminate私有题库,做安全评测的人应该看看这套流程怎么搭。
这篇论文从理论上推翻了“训练数据必须各子群体完全平衡”的默认假设,证明明显不均衡的数据配置也能达到相当的准确率,还给出了按梯度方向调整比例的实用方法。做数据采购标注预算紧张的机器学习工程师、尤其是处理人脸或医疗等存在子群体偏移数据的团队,可以据此省下不少数据收集成本。
做分子模拟或 SDE 相关研究的朋友可以看看这篇 arXiv 论文:KC-Maps 不用跑长轨迹数据,直接学转移核,一次前向传播替代数百万步积分,在肽分子系统上比经典分子动力学省 GPU 时。
做分布式或边缘端强化学习的人可以看看这篇。它证明了每步只需传输 O(d log(T)) 比特就能保住未量化 TD 的收敛速率,比之前的结果有指数级改进。 batching 加自适应量化的组合思路也值得借鉴到自己的通信受限训练管线里。
搞异常检测的同学可以看看这篇:VAS 不用调超参数,靠 Vendi 多样性分数的变化找异常,在 148 个基准数据集上跑了 SOTA。相比 Isolation Forest 这类老方法,理论更简洁,对大规模数据也更省心。
做了个开源的 .NET 临床去标识化工具包,规则加 NER 加本地 26B LLM 三层叠加,数据全程不出院。在 MIMIC-IV 出院小结上召回率比 Stanford/Penn 高 20 多个点,还同时提供高召回和高精确两种配置。做医疗 NLP 或医院信息化的团队可以直接拿来用。
如果你关心表征可解释性,这篇对 PRH 的复检值得看:它发现跨模态对齐能超过 CLIP 这类显式对齐的视觉-语言模型,但仍不及同模态模型间的相似度,还提供了可复用的基线和开源代码。
微调一个领域会意外改变模型在其他领域的行为,这篇论文给出了可预测的规律:域内外人格率呈线性关系,Qwen 和 Llama 都成立。做微调的开发者能直接用上——只调后几层可以在不牺牲任务效果的情况下减少不安全行为迁移。
做扩散或 Flow Matching 训练的工程和研究同学值得看这篇。它用 patch-wise PCA 给出了 v-prediction 失效的机理,提出的 RiT 不用改成 x-prediction 也能跑通像素空间训练,在 ImageNet 256×256 上验证有效。
不靠简单监控,而是让监控器和模型在博弈里互相牵制,再由验证器兜底, deception 缓解比基线高 26.0%。做智能体评估或 AI 安全的人可以看看,实验用的 Gemma3 和 Qwen3 都是小模型,代码也开源了,能直接跑。
这篇实验做得很细:FP4 训练损失几乎一样,但罕见事实要多喂 1.2 到 1.5 倍数据才学会。做量化训练或挑低精度方案的人该看看,尤其里面 Adam 噪声那组对照实验能帮你避坑。
做因果推断或图像生成的开发者可以看看这篇论文,它把图像编辑里的免反演方法搬到反事实推断里,省掉了从图像反推潜在状态的步骤。在 CelebA 和 ADNI 上用两项指标做了对比,两条路线各自的取舍讲得挺清楚。
持续学习圈子的新思路:不改参数、只锁住注意力行为,就能让单条 prompt 学新任务不忘旧类别。0.38M 参数就在 CIFAR-100、ImageNet-R、CUB-200 上拿到 SOTA,还不存旧数据,做 ViT 迁移学习的人可以直接看代码复现。
一篇给学习率调度补上理论根基的论文:作者证明对一类常见非凸函数,衰减学习率的 SGD 比固定学习率少指数级多的梯度查询,靠的是弱 Poincaré 不等式加退火采样。做优化理论或调参的读者值得看证明思路。
做因果发现的朋友可以看看这篇:给精确因果结构学习加了团大小上界约束,实测发现它不是万能加速器,效果看图密度和割管理策略。如果你在用 branch-and-cut 求解器跑结构学习,文中的 Big-M 界收紧和 C3 修复策略能直接借鉴。
做 LLM 上线选型的工程团队可以看这篇。MasterControl 把 NVIDIA AIPerf 包成一条带审计留痕的决策管线,还发现 vLLM 和 TensorRT-LLM 的排名随并发反转、贵 GPU 单请求成本反而更低,这些结论直接影响你的压测和采购决策。
做智能体框架的开发者可以看看这篇。它把 OpenHands、DeepSeek Harness 这类运行中换工具、换策略的行为用形式化语言描述清楚,还能编译成 ASP 验证。如果你的 harness 会动态挂载 MCP 工具或切换模型,这套理论能帮你检查组件变更后行为是否一致。
一篇多模态智能体记忆机制的论文:HiVe-Mem 用关系图扩展检索范围,再用可训练选择器按查询挑证据,token 省了约 90%,性能还在三个基准上超基线。做长程多模态 Agent 的人值得照着实现试试。
这篇论文讲清了 RL 训练里一个很实际的问题:25% 的冲突样本就能让模型学到 97.9% 的可盈利违规。作者还给出一个简单的二元惩罚方案,让安全完成率从 53.1% 提到 89.1%。做智能体训练和 RL 安全的工程师应该认真读。
一篇研究开发者怎么做预测机器人的论文,访谈了15位竞赛优胜者。你会发现大家普遍测试不系统、加了没用的复杂设计。想做预测类 Agent 或参与预测竞赛的人会很有共鸣,比看技术博客更贴近真实踩坑。
Only the latest 2000 items are listed; for older ones see the daily archive