AITOP

鲁棒性

共 28 条相关 AI 资讯
8月25日
11:24
11:24官方账号arXiv cs.LG@Mustafa Umut Ozbek, Taiwo Ojo, Pooria Madani, Khalil El-Khatib, Li Yang
本研究评估了在训练时间数据污染下，11种异构异常检测模型在Secure Water Treatment基准上的鲁棒性。评估了三种污染策略：随机注入、相似性目标注入和特征噪声注入。结果显示，鲁棒性高度依赖于模型，且不能仅从干净数据的性能预测。基于注入的污染对局部密度和距离检测器的降级影响最大，而特征噪声污染的影响相对有限。PCA、SVM、HBOS和IForest相对稳定，而调整后的神经网络检测器表现出中等鲁棒性。
论文异常检测模型鲁棒性工业控制系统
推荐理由：这篇论文深入探讨了工业控制系统异常检测模型的鲁棒性，对于关注数据安全和模型稳定性的读者来说，这是一篇值得关注的论文。
原文
11:11
11:11官方账号arXiv cs.LG@Andrej Orsula, Miguel Olivares-Mendez, Carol Martinez
针对太空机器人极端环境中的硬件退化问题，提出一种无奖励持续学习框架，利用潜在状态世界模型进行在线适应。通过在多样化模拟中预训练模型代理，世界模型学习其潜在空间中的奖励结构预测器。在部署到硬件退化严重的环境中，仅通过无监督回滚更新世界模型的转换动态。通过训练策略以更新后的世界模型生成的想象轨迹，代理适应改变的动力而不需要新的奖励。在模拟行星穿越、轨道导航和精密组装任务中展示了该方法的有效性。
论文智能体持续学习太空机器人
推荐理由：这篇论文提出了一种无奖励持续学习框架，对于太空机器人适应硬件退化问题有重要意义，值得一读。
原文
8月11日
10:38
10:38官方账号arXiv cs.AI@Mengnan Zhao, Geyong Min, Lihe Zhang, Tianhang Zheng, Jie Cui
CGRm 是一种用于长尾对抗训练的插件式框架，利用有向鲁棒误差作为训练信号。它通过周期性鲁棒评估推导源类损失权重、类级鲁棒系数和有向混淆几何图。该方法将反馈加权鲁棒优化与图引导的边界校正相结合，提升脆弱类别的鲁棒性。在长尾基准上的实验显示，CGRm 相比现有方法取得一致的鲁棒性能提升，消融实验验证了各组件贡献。
论文CGRm长尾分布对抗训练
推荐理由：CGRm 解决了长尾对抗训练中类别不平衡和对抗放大双重问题，用混淆几何图精准定位关键边界，实验效果不错，值得做对抗训练的人看看。
原文
8月5日
12:22
12:22官方账号arXiv cs.AI@Zizhao Hu, Nathan Elijah Segura, Mohammad Rostami, Jesse Thomason
论文提出HIVE（Human Input-Variation Engine）输入扰动测试套件，覆盖语音转写扰动和QWERTY键盘扰动。HIVE实验显示，语音转写扰动让所有被测指令微调模型的准确率下降，成本主要来自转写结构而非填充词。在HIVE的键盘扰动测试里，模型吸收大量QWERTY噪声后准确率才明显下降，两类扰动的影响都取决于问题中token被破坏的数量。七项发现中的第六项指出，思考预算能基本恢复键盘通道的准确率，但对语音转写无效。压缩语音在思考预算下反而更差，该结果来自HIVE的第七项发现。
论文HIVELLM语音输入
推荐理由：这篇论文用HIVE工具对比语音和键盘输入的扰动，发现语音转写对模型影响更大，键盘错字反而扛得住。想知道输入方式怎么影响LLM表现可以看看。
原文
7月16日
09:36
09:36官方账号arXiv cs.AI@Michal Štefánik, Philipp Mondorf, Andreas Waldis, Qianying Liu, Chuan Yang, Michal Spiegel, Josef Kuchař, Marek Kadlčík, Adam Vawda-Oomerjee, Chaoran Liu, Simon Frieder, Barbara Plank, Fazl Barez, Pontus Stenetorp
AIMO可解释性挑战赛旨在通过模型内部机制区分前沿数学语言模型的鲁棒推理与虚假推理。比赛基于AI数学奥林匹克（AIMO）问题及Fields Model Initiative资源，提供新发布的奥林匹克级数学推理题及其符号表示。参赛者可访问前沿推理模型及其对抗鲁棒性评估，开发识别鲁棒推理的方法。比赛将创建开放的鲁棒性基准和基线系统，推动数学推理与可解释性研究。
论文AIMOFields Model Initiative可解释性
推荐理由：想测试数学推理模型是真会思考还是靠蒙？这个挑战赛提供了新基准和资源，帮你判断模型的鲁棒性。
原文
7月15日
11:05
11:05官方账号arXiv cs.LG@Dandan Chen, Yan Zhao, Xuepeng Chen
该论文提出一个基于仿真的物理约束鲁棒性评估框架，使用虚拟光伏功率作为受控响应变量，研究NWP预测误差对模型的影响。评估了PatchTST、GRU、N-HITS、LightGBM等六种模型在动态NWP扰动下的表现。结果表明，在中等至高等干扰下，序列模型（如PatchTST、GRU）比LightGBM基线具有更强的噪声滤波和时间鲁棒性。SHAP和IG分析显示，模型在输入扰动时会将预测依据从未来预报转向历史观测和物理先验。Pareto分析综合了纯净精度、鲁棒性和计算延迟，为工程选型提供了参考。
论文PatchTSTGRUNWP
推荐理由：这篇论文用具体模型和实验告诉你，哪些深度模型在光伏功率预测里更扛NWP天气误差，不是空谈。
原文
7月14日
09:29
09:29官方账号arXiv cs.LG@Sirine Ayadi, Sándor Daróczi, Stephan Günnemann, Bertrand Charpentier
该论文系统评估了量化LLM在2、3、4、8比特位宽下的可靠性，涵盖不确定性、校准和鲁棒性三个维度，使用了六种不同量化方法。研究发现，模型性能随总比特数单调提升，但可靠性缩放呈非线性，4比特量化模型达到可靠性峰值。实验还表明，量化增强了LLM对字符级和词级自然扰动的鲁棒性。
论文LLM量化可靠性
推荐理由：论文用实验告诉你，4比特量化的LLM最靠谱，比8比特还稳，想省资源又想要可靠性可以照这个选。
原文
7月13日
09:22
7月9日
10:23
10:23官方账号arXiv cs.AI@Jordan Painter, Dipankar Srirag, Adarsh Kappiyath, Diptesh Kanojia, Aditya Joshi, Lu Yin
DiaLLM 在 International Corpus of English 上持续预训练三种开源模型家族（LLaMA、Mistral、Gemma），并应用隐式和显式后训练范式各搭配三种对齐策略，首次在澳大利亚、印度和北英格兰方言上对比这些组件。结果显示鲁棒性和生成能力分离：基准测试由持续预训练和 SFT 主导，而对齐显著重塑生成但基准测试无法捕捉。显式方言适配生成被人类评估者可靠识别为方言，但最激进优化方言奖励的方法反而得不到人类偏好。独立语言学分析在两个模型家族上验证了该奖励-质量差距，且没有单一对齐方法占优。
论文DialLM方言适应鲁棒性
推荐理由：这篇论文挖出了LLM理解方言但生成不了方言的深层矛盾，还对比了多种对齐方法，结果很反直觉。
原文
09:52
7月1日
11:39
11:39官方账号arXiv cs.LG@Matteo Melis, Jesus Martinez Del Rincon, Vishal Sharma
AD-CERT是一种新的认证训练方法，结合了对抗蒸馏与区间边界传播（IBP）上界。该方法在多个鲁棒性基准上实现了最先进的认证性能。在统一设置下，逻辑级对抗蒸馏相比鲁棒特征空间蒸馏，认证准确率提升了高达5.40个百分点。论文通过优化最坏情况损失的上界与下界，改善了标准准确率与认证准确率的权衡。
论文AD-CERTIBP认证训练
推荐理由：这篇论文提出了AD-CERT，用对抗蒸馏帮模型在保持准确率的同时更容易通过形式化验证，在多个基准上刷新了认证精度记录。
原文
09:57
09:57官方账号arXiv cs.LG@Mark Levene, Martyn Harris
该论文研究神经网络对输入值随机噪声扰动的鲁棒性。作者提出一种基于高概率的鲁棒性度量，给出均方误差的上界，且将网络视为黑箱计算。在多个真实数据集上的实验验证了方法的有效性。论文还引入鲁棒性曲线概念，用于分析数据内部和跨数据集的鲁棒性特征。
论文神经网络鲁棒性输入扰动
推荐理由：这篇论文提出了一种计算简单的方法，能告诉你神经网络对输入噪声的容忍上限，还画出了鲁棒性曲线，帮你量化模型稳定性。
原文
6月30日
11:52
11:52官方账号arXiv cs.LG@Isao Kurosawa
研究人员针对碳捕获与封存（CCS）、地热等场景中事件检测的鲁棒性展开研究，将传感器故障容错与低信噪比鲁棒性区分开。他们基于Hi-net地震波形、Utah FORGE 2024钻孔DAS和MAFAULDA工业振动三个真实数据集构建了统一二进制事件检测基准，使用8通道256样本表示。在干净数据上所有模型AUC约0.99。在渐进式传感器丢失下，简单模型已具备鲁棒性，CEPHALON无优势。但在加性噪声-2.5 dB时，CEPHALON的AUC为0.939，而卷积基线在0.532-0.572之间。消融实验表明训练策略（每样本传感器丢弃）是低SNR鲁棒性的主导因素，而非平行冗余架构。
论文CEPHALONHi-netUtah FORGE
推荐理由：这篇论文用三个真实数据把故障容错和抗噪鲁棒性分清楚了，发现训练方式比架构更关键，做事件检测的可以看看。
原文
11:08
11:08官方账号arXiv cs.LG@Floor van Maarschalkerwaart, Subhadip Mukherjee, Christoph Brune, Marcello Carioni
该论文提出一种结构化分布鲁棒优化（DRO）框架，在逆问题学习重建中对抗训练与测试噪声分布不匹配的问题。与标准 Wasserstein DRO 对全部联合分布均匀扰动不同，该方法将不确定性集限制在符合测量过程的扰动子集上（如条件分布 P(Y|X)），更真实地建模前向算子与噪声模型。理论推导了强对偶性与显式最坏情况风险界，表明该框架等效于在重建算子 Lipschitz 常数上施加 Tikhonov 正则化。在去模糊和 sinogram-to-CT 重建实验上，该方法相比标准 DRO 和 MSE 基线，在鲁棒性、稳定性和可解释性上均有提升，且在线性设置下学习到的算子呈现低秩结构，可视为截断 SVD 的数据驱动变体。
论文分布鲁棒优化逆问题学习重建
推荐理由：这篇论文解决了逆问题模型在噪声变化时性能暴跌的痛点，用结构化的 DRO 替代傻均匀扰动，实验还发现它自动学出低秩算子。搞图像重建或鲁棒学习的可以细看。
原文
6月23日
12:51
12:51官方账号arXiv cs.LG@Ankur Garg, Ulrich Aïvodji, Samira Ebrahimi Kahou, Vincent Michalski
神经分类树(NCT)通过树状结构编码子组信息，无需子组标注即可将样本路由到“易”或“难”节点，并重用路径作为伪标签迭代优化。在五个基准（含二分类和多分类虚假关联）上，NCT一致隔离少数子组，解释性强，且鲁棒性与最先进方法相当。
论文NCT鲁棒性可解释性
推荐理由：这篇论文用树结构搞定模型对少数子组表现差的问题，还能看清子组结构，挺实在的。
原文
10:39
10:39官方账号arXiv cs.LG@Yuhang Jiang, Xiaojing Chen
这篇论文发现，输入多样性（DI）通过随机调整大小和填充来提升迁移性，但这种假设依赖于替代模型的类型。在标准替代模型上增加DI概率可提高攻击成功率，但在鲁棒训练的替代模型上反而降低，形成剪刀曲线。在ImageNet上，盲目使用DI导致鲁棒源模型在CNN、ViT、Swin和ConvNeXt等目标上的平均攻击成功率下降10.3%。通过梯度几何分析，约67%的伤害来自resize操作，且直接梯度对齐测量证实resize对标准模型有利而对鲁棒模型有害。作者提出一种无需训练的规则CG-DI，在局部梯度一致性高时禁用DI，避免鲁棒替代模型的损失。
论文剪刀效应输入多样性迁移攻击
推荐理由：这篇论文讲了一个反直觉的现象：给攻击加随机缩放，对标准模型有用，对鲁棒模型反而有害。还给出了简单补救方法，搞对抗攻击的可以看看。
原文
6月19日
06:39
6月17日
09:41
09:41官方账号arXiv cs.AI@Andrea Santomauro, Luigi Portinale, Giorgio Leonardi
本研究从理论和实验两方面分析了相似性位置编码（simPE）在旋转扰动下的鲁棒性。论文首先证明simPE通常不具备旋转不变性，但基于Lipschitz假设推导出其在Frobenius范数下的显式扰动界。实验在四个数据集（Arrow、Shapes、Digits、FashionMNIST）上进行，测试图像逐渐增大旋转角度，simPE在准确率、F1、精确率和召回率上均优于标准学习型位置编码，尤其在小到中等旋转角度下表现更优。
论文simPE位置编码鲁棒性
推荐理由：这篇论文证明了simPE在图像旋转下比标准位置编码更稳，用四个数据集给出了理论界和实验验证，做视觉Transformer的值得看。
原文
6月16日
11:03
11:03官方账号arXiv cs.LG@Abdul-Rauf Nuhu, Parham M. Kebria, Vahid Hemmati, Mahmoud N. Mahmoud, Edward Tunstel, Abdollah Homaifar
现有深度学习模型泛化误差上界往往过于松散，尤其在0-1损失下。本文提出基于局部鲁棒性与稳定性的新泛化界，通过按输入空间子区域中稳定与不稳定样本数量缩放鲁棒项。在ImageNet数据集上，该界保持非空且比现有方法得到更紧的上界，与多个鲁棒深度神经网络的真实性能紧密对齐。
论文泛化误差鲁棒性ImageNet
推荐理由：这篇论文提出了更紧的深度学习泛化误差上界，在ImageNet上比现有方法更准，值得一看。
原文
6月9日
11:02
11:02官方账号arXiv cs.AI@Tianyu Ruan, Fengzhuo Zhang, Shuche Wang, Shihua Zhang
精选72°
Muon 作为预训练大语言模型和视觉分类器的新兴优化器，其效率优势已超过 Adam 和 SGD，但特征学习优势尚不明确。本文通过鲁棒性和迁移性视角研究 Muon 的特征学习优势：在损坏图像和文本上评估预训练模型，发现 Muon 学到的特征比 Adam 和 SGD 更鲁棒，且这种优势体现在更大的 logit 边际上。通过下游任务的线性分类器或微调，Muon 的特征迁移效果更好，这得益于隐藏状态的有效秩更高。在含多组件的分类问题中，论文从理论上证明了 Muon 能获得更大边际和更高有效秩。
论文Muon优化器鲁棒性
推荐理由：Muon 优化器在鲁棒性和迁移性上全面超越 Adam，做预训练或迁移学习的团队值得关注，尤其是需要模型对噪声和下游任务更鲁棒的场景。
原文
6月8日
09:16
09:16官方账号arXiv cs.AI@Eloy Geenjaar, Vince Calhoun, Scott Daly, Gouthaman KV, Lie Lu, Trisha Mittal, Daniel P. Darcy
该研究提出了一种利用多模态生理信号监督的PPG基础模型，无需高质量或现场类预训练数据，而是借助ICU数据集中的心电和呼吸信号来选择对比学习样本。模型在预训练时能保留并学习噪声PPG片段，从而提升推理时的鲁棒性。与现有最先进方法相比，该模型仅用1/3的受试者进行预训练，在15个下游任务中的14个上取得性能提升，包括日常活动和心率预测。结果表明，多模态监督能整合互补生理信息，增强PPG基础模型对消费级数据的泛化能力。
论文PPG基础模型多模态监督对比学习
推荐理由：做可穿戴健康监测或临床PPG分析的团队，可以关注这个用更少数据训练出更强鲁棒性的方法，直接提升在真实场景中的表现。
原文
6月3日
10:33
10:33官方一手arXiv: DeepSeek@Malia Barker, Bishal Lakha, Edoardo Serra, Francesco Gullo
研究者提出了一种自动算法，通过生成数值重映射攻击来测试大语言模型在算术推理中的泛化能力。该方法自动推导问题的符号表示，生成约束数值映射并重新计算答案，通过确定性编辑实现问题变换。在GSM8K、MAWPS和MultiArith数据集上测试DeepSeek-R1、Gemma4和GPT-OSS模型，发现GSM8K上条件准确率下降12.16至25.82个百分点，而MAWPS和MultiArith更稳定。结果表明数值重映射鲁棒性强烈依赖于数据集结构，GSM8K即使保留推理程序仍敏感，而较短更规则的数据集更鲁棒。
论文LLM算术推理鲁棒性
事件专题
推荐理由：做LLM评估和推理优化的团队会关心——GSM8K的脆弱性说明基准测试可能高估了模型的真实推理能力，建议关注数值变化对模型泛化的影响。
原文
5月22日
10:59
10:59官方账号arXiv cs.AI@Vishal Rajput
精选
本文提出“匹配原则”，将鲁棒性、域适应、光度不变性、组合泛化、时间鲁棒性、对齐安全等看似独立的问题统一为同一个统计问题：估计部署干扰的协方差，然后沿着覆盖该协方差的矩阵正则化编码器雅可比矩阵。在线性高斯模型中，作者证明了闭式最优性（定理A），包括匹配范围内的立方根水填充；证明了二次雅可比惩罚需要范围覆盖（定理G）；并提供了七个条件一致性引理。作者引入轨迹偏差指数（TDI），一种无标签的嵌入敏感性探针。在从经典ML到Qwen2.5-7B的13个预注册实验中，12个通过了预测的匹配-各向同性-错误W顺序测试。在7B规模上，匹配风格PMH提高了选择性诚实性，并保持了风格TDI，而标准DPO则使其退化。
论文表示学习鲁棒性域适应
推荐理由：这篇论文把鲁棒性、域适应等一堆看似无关的问题统一成了一个统计框架，做表示学习或模型泛化的研究者可以直接用匹配原则指导正则化器设计，省去试错成本。
原文
5月21日
10:22
10:22官方账号arXiv cs.LG@Donggyu Lee, Taekyung Lee, Jaewoong Choi
精选
UOTIP 提出了一种基于非平衡最优传输（UOT）的新方法，用于解决无配对图像逆问题。该方法通过引入基于似然的代价函数，学习从噪声测量分布到干净信号分布的传输映射，无需配对训练数据。UOT 框架通过放松精确边际约束，使模型对多级观测噪声、类别不平衡和多种噪声类型具有鲁棒性。理论分析表明，加入二次代价项可确保传输映射的存在性和唯一性。实验结果显示，UOTIP 在线性和非线性逆问题基准上均达到最先进性能。
论文图像逆问题最优传输无配对学习
推荐理由：无配对图像逆问题是实际应用中的常见难题，UOTIP 用非平衡最优传输优雅地解决了数据不配对和噪声鲁棒性问题，做医学成像或遥感图像恢复的团队值得关注。
原文
09:46
09:46官方账号arXiv cs.AI@Alexi Canesse, Benoît Goupil, Jesse Read, Sonia Vanier
精选
多智能体强化学习（MARL）中，通信是实现协作的关键，但许多实际应用（如无人机群搜索救援）面临严重的带宽限制。现有通信架构通常将共享潜在表示同时用于策略执行和智能体间通信，导致减少消息大小会直接限制策略的潜在空间，造成性能显著下降。本文提出两个贡献：一是引入归一化的每智能体带宽预算 β，统一了稀疏性、轮次和消息维度；二是提出 SLIM 架构，将通信路径与策略的潜在表示解耦，从而隔离带宽对策略容量的影响。实验表明，SLIM 在多个部分可观测的 MARL 基准上达到最先进性能，并在带宽减少时仅出现轻微性能下降，展现出良好的可扩展性和鲁棒性。
论文多智能体强化学习带宽约束通信解耦
推荐理由：做多智能体系统或机器人集群的团队，终于有了一个能直接应对带宽瓶颈的架构——SLIM 解耦通信与策略，带宽砍半性能也不崩，值得在无人机或边缘设备场景里试试。
原文
5月19日
14:53
14:53官方账号arXiv cs.LG@Mohamed elShehaby, Ashraf Matrawy
精选
本文研究了在基于梯度的对抗攻击下，仅通过精心选择网络架构（如更浅的网络、更少的特征和ReLU激活函数）能否使基于深度神经网络的入侵检测系统（NIDS）具备内在鲁棒性。通过约2200次实验，对比FGSM、PGD和BIM攻击，发现浅层网络、简化特征集和ReLU激活函数能显著降低对抗脆弱性。这种简单模型甚至优于经过对抗训练的深层全特征模型，同时保持近乎完美的正常流量检测率和更短的训练时间。研究强调，关键在于选择“正确的少”而非盲目简化。
论文对抗攻击入侵检测系统网络架构
推荐理由：做网络安全和ML-NIDS的团队，不用加额外防御就能提升模型抗攻击能力——调整架构本身就能见效，值得在现有系统上试试这个“少即是多”的思路。
原文
5月15日
11:15
11:15官方账号arXiv cs.LG@Lanxin Xiang, Liang Shi, Youhui Ye, Boyu Jiang, Dawei Zhou, Feng Guo
精选
特征归因分析在解释机器学习模型时，常因数据分割、随机种子等随机因素导致结果不稳定。本文提出 RoSHAP 框架，通过 Bootstrap 重采样和核密度估计建模特征重要性得分的分布，并证明聚合得分渐近服从高斯分布，大幅降低计算成本。RoSHAP 指标同时奖励活跃、强且稳定的特征，在模拟和真实实验中优于单次归因方法。使用 RoSHAP 筛选的特征构建的模型，在预测性能接近全特征模型的同时，显著减少了特征数量。该框架提升了模型的可解释性和稳定性，为可靠的数据驱动决策提供了支持。
论文特征归因SHAP鲁棒性
推荐理由：做模型可解释性研究的团队终于有了一个能对抗随机波动的归因指标——RoSHAP 通过分布建模让特征排序更稳定，做特征筛选和模型审计的开发者可以直接用。
原文
5月13日
19:12
19:12官方一手arXiv: DeepSeek@Wenyong Zhou, Yuannuo Feng, Yizhe Chen, Taiqiang Wu, Wendong Xu, Wenbo Qi, Zhengwu Liu, Wang Kang, Ngai Wong
精选
混合专家（MoE）大模型通过稀疏激活专家实现高效扩展，但频繁切换专家造成内存带宽瓶颈，而模拟存算一体（CIM）架构可缓解此问题。然而，模拟CIM的硬件缺陷会扰动存储权重，其对MoE模型的影响此前未被系统研究。本文首次基于真实芯片噪声校准，发现硬件噪声会破坏专家负载均衡，使训练好的路由决策失效。为此提出ROMER后训练校准框架：替换低激活专家为高频专家以恢复负载均衡，并通过百分位数归一化重新校准路由器logits。在DeepSeek-MoE、Qwen-MoE和OLMoE上，ROMER在真实芯片噪声下将困惑度分别降低58.6%、58.8%和59.8%，验证了其有效性和跨架构泛化能力。
论文MoE存算一体硬件噪声
推荐理由：模拟存算一体是突破大模型内存墙的关键路线，但硬件噪声对MoE架构的破坏一直未被正视。做硬件-算法协同设计的团队，这篇论文给出了可直接复用的校准方案，值得细读。
原文