Latest
arXiv 上这篇论文用拉丁方染色把 Grokking 讲透了,想搞懂模型为啥突然泛化的可以看看
做分割或不确定度估计的可以看看,CRC 在稀有类别上会失控,这篇用分组重加权来解决,还给了两个数据集的实验。
一篇做路径表示学习的论文,用 VAE 自动生成视图,替代费算力的启发式对比学习,做出行时间估算的可以看看。
免训练的 KV 缓存压缩方案,压 13 倍几乎不掉点,比现有跨层方法强不少,自己部署 LLM 的可以看看代码。
做 KV-cache 压缩的人可以看看,这篇用理论证明了为什么连均匀采样这种简单方法在真实模型上就好用。
Deduplicating expert reads sounds appealing for MoE inference, but the measured bandwidth numbers show it rarely helps at practical draft lengths, which saves practitioners from engineering it blindly. Inference engineers and MoE serving teams can reuse the fitted-bandwidth method, which takes under an hour per model, to predict whether deduplication wins on their own hardware. The tested stacks — llama.cpp CUDA and Metal plus MLX-LM — cover the common Mac and NVIDIA deployment paths.
一篇时序因果推理的论文,8.6B 参数的 TCR-Former 在 TempoCausal 上赢了 GPT-5.4 和 DeepSeek-V3.2,思路是把因果图塞进注意力机制里。
一篇研究 LLM 提问质量的文章:好奇式问题只占 17-28%,但能让用户回复更有探索性,做对话产品可以看看。
这篇把全网网站的视觉设计自动抽成可复用技能库,接上 Qwen3.8-Max 这类模型就能让生成的网页好看不少,做网页生成方向的可以看看开源代码。
用 AL-RNN 在 100 个认知任务上同时训练,解释了任务间什么时候互相帮助、什么时候互相打架,做神经计算建模的可以看看。
一篇把权重平均和秩分析结合改进 OOD 检测的论文,ResNet50 上跑出了对比数据,做模型部署异常检测的可以看看。
一篇解决桌面智能体训练数据稀缺的工作:OS-Wizard 自动采轨迹,微调后在专业软件基准上超过人类成绩,做 GUI 智能体的可以细看。
这篇 arXiv 论文讲了个挺反直觉的坑:训练时删掉的坏行为会换个形式回来。作者用配对干预把问题量化,再提出 ICA 闸门修好,做后训练的值得看看
跑 repetitive agent 任务的可以看看:把轨迹编译成代码后,同样的任务 token 省 70 倍、结果还能逐次一致,比存 skill 靠谱多了。
Numina 做了个让人监督 AI 写 Lean 4 证明的工作台,还真拿它形式化了 Kakeya 猜想,开源版可以直接跑。
The headline result is less the game AI itself than the demonstration that LLM agents constructing and verifying research infrastructure outperform those same LLMs playing directly. Practitioners building agent pipelines can study its typed research memory, verification gates and feedback loops as a template for long-horizon autonomous work. The open-sourced TavernGym and TavernBench also give anyone a ready-made RL environment with stochastic, hidden-information decision-making.
有人把 EEG 硬件、注意力分类模型和音频干预整套跑通了,实时延迟不到 100 毫秒,37 人实验里注意力分数提升 20%,做脑机接口的可以看看。
这篇把晶体结构预测的 Top-1 从 28.3% 干到 72.2%,关键居然是修 bug——元素替换时没管化学计量系数,作者审计后重写流程,还比 CrystalFlow 快十倍。
用 NTK 理论分析物理信息神经网络的训练动力学,这篇把正交群对称性和谱性质证清楚了,做理论的朋友可以看看。
一群研究者把 AGI 数学理论直接落成了语言模型,单一动态状态同时做表示和预测,性能追平同规模 GPT 基线,思路很不一样。
做肌电手势识别或持续学习的可以看看:在 NinaPro DB1 上对比了三种策略,经验回放遗忘率只有 EWC 的零头,还有训练窗口怎么切才不崩的细节。
想知道 Claude 或 GPT 审代码到底能不能抓到真漏洞?这篇基准测了八款模型,265 个来自 Firefox、OpenSSL 的真实漏洞提交,结果差异挺大。
做代码审查工具或想测模型审查能力的话可以看看,1968 个带明确契约的案例,OpenAI Decisions 拿了 81.3% 平衡准确率。
联邦学习里少数站点数据常被压没了,这篇用四层架构让小于 3% 数据的节点也能追平大站点,临床场景很实用。
Interaction-level credit assignment, not raw model scale, is what closes the gap with frontier systems here — a 671B model loses by roughly 20 points under the same protocol. Researchers building tool-using agents in specialized domains can apply the same step-level reward scheme without frontier API budgets. The authors' caveat that annotation coverage does not prove biological correctness is worth keeping in mind when comparing reported scores.
自蒸馏训练推理模型会让学生学会瞎编参考、不敢回头检查,这篇用激活转向治好了这两个毛病,AIME、HMMT 上准确率也涨了,做训练的可以看看。
一篇用 Double Machine Learning 做动态收费政策的研究,商业区治堵效果是住宅区近两倍,还给出了一个怎么调都稳的费率区间。
一篇轻量语音情感识别论文:不用大 Transformer,411 万参数就在三个数据集组合上跑出 96.75% 准确率,做端侧部署的可以看看。
多个 GFlowNet 各自探索容易撞在同一片高奖励区,这篇论文用共享分类器动态分地盘,采样覆盖更广,做生物序列设计的可以看看。
The Well 数据集的官方基线其实没怎么调参,这篇只在 12 小时内调了下 TFNO,17 个任务里 15 个就大幅超过原基线,引用时得留心。
这篇论文把心电图当语言来处理,用 VQ-VAE 把波形切成 token 再跑 BERT 预训练,80 万条 MIMIC-IV 数据训练出来的,做心电诊断方向的可以看看。
Only the latest 2000 items are listed; for older ones see the daily archive