X·KOLX:arXiv cs.LG (@Tomasz Maciazek)
该研究分析了高斯过程(GP)后验采样中释放样本路径的差分隐私(DP)性质。与标准DP机制不同,后验采样的内在随机性可提供隐私保证。作者推导了显式的Rényi-DP界限,将隐私泄露分解为后验均值依赖和后验协方差依赖部分,并指出有效岭正则化对隐私有显著影响。通过成员推理攻击实验,验证了隐私泄露与正则化强度、后验方差及释放样本路径数量之间的预测关系。在噪声观测任务中,隐私兼容的正则化在保持有用决策的同时仅带来适度效用损失。
X·KOLX:arXiv cs.AI (@Lekan Molu)
这篇论文提出用向后Kolmogorov方程将扩散策略提升至Cameron-Martin空间,以确定性PDE替代随机分数匹配。在PushT操作基准上,Cameron-Martin损失使最大回合奖励提升17%(0.95 vs 0.78),推理时步间漂移降低67.6%。在6站CONWIP制造线上,RMSE较LSTM降低28.4%,饥饿事件召回率达1.0,瓶颈识别Precision@1=1.0,信噪比13倍。结合Hamilton-Jacobi可达性理论,死锁事件减少96%(351次预防)。方法提供收敛保证、轨迹规整性和无奖励信号的故障检测。
X·KOLX:arXiv cs.LG (@Viet-Hoang Tran, Vinh Khanh Bui, Van-Hoan Trinh, Tan Lai Ngoc, Tan M. Nguyen)
这篇论文研究了Transformer中注意力机制的函数等价性,重点分析了sinusoidal和旋转位置编码(RoPE)两种变体。作者发现sinusoidal编码保留了普通注意力的等价结构,而RoPE显著减小了对称群,从而增强了表达力。这一发现为RoPE在实践中的流行提供了理论解释。论文还讨论了位置编码如何影响线性模式连接性,并通过对齐算法证明连接性的存在和变化关键依赖于位置编码。实验表明使用RoPE的Transformer在参数空间具有更少的函数等价性,有助于优化和泛化。
X·KOLX:arXiv: DeepSeek (@Filip Sondej, Yushi Yang, Adam Mahdi)
现有大模型遗忘方法(如GradDiff、NPO、SimNPO、RMU、UNDIAL)易被微调或少样本提示逆转,表明确实只是浅层遗忘。RepSelect通过每次更新前崩塌权重梯度的主成分,隔离遗忘集特定的表示,保持通用能力不受影响。在生物危害知识和虐待倾向两个遗忘类别上,对Llama 3、Qwen 3.5、Gemma 4 E4B、DeepSeek V2 Lite四个模型族评估,RepSelect后学习准确率降低幅度是最好基线的4-50倍,且对少样本提示攻击接近完全鲁棒。
X·KOLX:arXiv cs.AI (@Hongyuan Adam Lu, Z. L. Victor Wei, Qun Zhang, Jinrui Zeng, Bowen Cao, Lingwei Meng, Mocheng Li, Zezhong Wang, Haonan Yin, Naifu Xue, Minyu Chen, Cenyuan Zhang, Zefan Zhang, Hao Wei, Jiawei Zhou, Haoran Xu, Hao Yang, Ronglai Zuo, Tongda Xu, Yonghao Li, Jian Chen, Hebin Wang, Zeyu Gao, Yang Li, Wei Zhao, Qimin Zhong, Siqi Liu, Yumeng Zhang, Leyan Cui, Zhangyu Wang, Wai Lam)
Looped World Models(LoopWM)首次将循环架构引入世界建模,通过参数共享的transformer块迭代细化潜在环境状态。相比传统方法,LoopWM在参数效率上提升多达100倍,并能根据预测复杂度自动调整计算深度。该方法将迭代潜在深度确立为世界仿真的新扩展轴,独立于模型规模和训练数据规模。