用 NTK 理论分析物理信息神经网络的训练动力学,这篇把正交群对称性和谱性质证清楚了,做理论的朋友可以看看。
Latest
一群研究者把 AGI 数学理论直接落成了语言模型,单一动态状态同时做表示和预测,性能追平同规模 GPT 基线,思路很不一样。
做肌电手势识别或持续学习的可以看看:在 NinaPro DB1 上对比了三种策略,经验回放遗忘率只有 EWC 的零头,还有训练窗口怎么切才不崩的细节。
想知道 Claude 或 GPT 审代码到底能不能抓到真漏洞?这篇基准测了八款模型,265 个来自 Firefox、OpenSSL 的真实漏洞提交,结果差异挺大。
做代码审查工具或想测模型审查能力的话可以看看,1968 个带明确契约的案例,OpenAI Decisions 拿了 81.3% 平衡准确率。
联邦学习里少数站点数据常被压没了,这篇用四层架构让小于 3% 数据的节点也能追平大站点,临床场景很实用。
自蒸馏训练推理模型会让学生学会瞎编参考、不敢回头检查,这篇用激活转向治好了这两个毛病,AIME、HMMT 上准确率也涨了,做训练的可以看看。
一篇用 Double Machine Learning 做动态收费政策的研究,商业区治堵效果是住宅区近两倍,还给出了一个怎么调都稳的费率区间。
一篇轻量语音情感识别论文:不用大 Transformer,411 万参数就在三个数据集组合上跑出 96.75% 准确率,做端侧部署的可以看看。
多个 GFlowNet 各自探索容易撞在同一片高奖励区,这篇论文用共享分类器动态分地盘,采样覆盖更广,做生物序列设计的可以看看。
The Well 数据集的官方基线其实没怎么调参,这篇只在 12 小时内调了下 TFNO,17 个任务里 15 个就大幅超过原基线,引用时得留心。
这篇论文把心电图当语言来处理,用 VQ-VAE 把波形切成 token 再跑 BERT 预训练,80 万条 MIMIC-IV 数据训练出来的,做心电诊断方向的可以看看。
50 多名专家做了个 600 级的智能体考试,前沿模型最高也只过 47.7%,想知道智能体长期能力差在哪的可以看看。
如果你的 Agent 管线老被 Pydantic 校验卡住,这篇拿 9 个模型、近 4000 次调用跑出来的失败分析值得看看。
arXiv 上的新工作 SceneBloom,用扩散模型生成可仿真训练的 3D 室内场景,做具身智能的朋友可以看看,代码已开源。
一篇解决医疗 VLM 量尺问题的论文:离散 token 测不准毫米级数值,HAD-VLM 用扩散头预测坐标和长度,误差比 Vicuna 基线降了最高 37.6%。
这论文回答了个实际问题:ChatGPT 们以后怎么靠广告赚钱、免费和付费档怎么设计,算力降价了广告收入反而可能更多,结论挺反直觉。
想让 AI 帮你优化代码前先看这篇:11 个模型实测下来,42/44 的“优化”代码反而更耗电,MoE 架构是最省能的选择。
把 CLIP 的嵌入从球面挪到单纯形,模态间隙直接砍掉 97% 以上,检索还不掉点,想法挺巧。
RL 训练里 rollout 生成最耗时,这篇论文把它提速到原来的近 2 倍,还不用额外模型,做训练的可以看看实现思路。
想在单卡跑大模型又怕掉点的话,这篇给出更聪明的 SVD 压缩方案,比现有方法准确率高不少,代码也放出来了。
一篇理论向论文,用五层架构拆解 LLM 上下文为何无法承载话语根基,引用了 Shchedrovitskiy 等人的系统方法论,喜欢思辨的可以啃啃。
这篇论文搞了个因果效应估计的基础模型 PICLE-PFN,一次前向传播就能出结果,不用每个数据集单独拟合模型,跑得还快。
一篇工程味很浓的 RAG 论文:7 个智能体逆向工程 241 个仓库,再靠 artifact 级元数据让检索不再靠相似度猜,做了 100+ 缺陷修复验证。
一篇优化器调度的架构对比实验:乘法耦合的调度能泛化到大 15 个种子验证的分布外实例,加法版不行,做学习式优化的人可以看看。
医疗软件采购信息散落各处,这篇论文让智能体去爬并要求每条关系都附原文引用,61 家厂商测出 0.94 精确率,做知识抽取的可以看看这套防幻觉设计。
做强化学习的可以看看,17 种鲁棒 RL 算法统一到一个库里,还带 273 种扰动配置的基准测试,省得自己一个个复现。
一组研究者做了个手持设备 DexPort,不用机器人也能采灵巧手演示数据,野外数据把成功率从 36% 拉到 78%,做机器人操控的可以看看。
一篇少样本工业质检的论文:只用几张正常图,单步流匹配就能在 MVTec-AD 上拿到 97.8% AUROC,代码也开源了,搞缺陷检测的可以看看。
有人拿自己 739 封真实邮件做实验,发现简单逻辑回归分类比 LLM 准,但放到实际动作里反而更常漏掉要回的邮件,结论很反直觉。
做 RL 训练的朋友看看这篇:不用重写训练框架,只在 RoPE 那条路保留 FP32 中间量就能防崩溃,四个 Qwen 模型都验证过了。
推荐系统方向的朋友可以看看这篇:两个蒸馏目标函数让并行语义 ID 推荐超过 SOTA,IDM 提 Recall@10 超 15%,思路挺巧。
机器人 VLA 卡住不用重训,一个 0.48-0.88% 参数的小头就能让 π0-FAST 它们在 LIBERO-Long 上失败率降近一半,思路很巧。
一群理论研究者把学 ReLU 线性组合的时间复杂度压到了多项式级别,之前没人做到。做学习理论或理解网络可学性的人可以看看这篇的 boosting 和 Hermite 张量技巧。
一篇把非线性滤波问题用 PDE 和算子学习来解的论文,ZENO 在 Lorenz、Van Der Pol 等系统上验证过,还跑通了线虫全脑数据,做科研的可以看看思路。
Only the latest 2000 items are listed; for older ones see the daily archive