AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:神经网络×
5月15日
11:09
arXiv cs.LG@ML Nissen Gonzalez, Melwina Albuquerque, Laurence Wroe, Jacob Meyer Cohen, Logan Riggs Smith, Thomas Dooms
精选58
这篇论文提出了一种新的权重度量方法——张量相似性(Tensor Similarity),用于判断两个神经网络是否实现相同的计算。现有方法要么依赖经验行为(对分布外机制不敏感),要么依赖基依赖参数(忽略权重空间对称性)。新方法通过递归算法捕捉跨层机制,对权重空间对称性保持不变,从而更准确地衡量全局功能等价性。实验表明,张量相似性在追踪训练动态(如grokking和后门插入)方面优于现有指标。这项工作将相似性测量和忠实性验证从经验近似问题转化为可解的代数问题。
论文可解释性神经网络张量相似性权重空间对称性功能等价性

推荐理由:做可解释性研究的团队终于有了一个不依赖经验近似、能真正衡量网络等价性的工具,值得关注。
5月13日
21:36
Anthropic: Research(资讯)
0
Anthropic 发布了其可解释性研究团队的官方页面,集中展示了团队在理解神经网络内部工作机制方面的核心工作。该团队致力于揭示 AI 模型如何做出决策、学习概念以及可能产生偏见,从而提升 AI 系统的安全性和可控性。页面介绍了团队的研究方向、关键成果以及开放职位,体现了 Anthropic 对 AI 安全与透明度的长期投入。对于关注 AI 安全、模型可解释性以及前沿研究的读者,这是一个重要的资源入口。
行业可解释性AI安全Anthropic神经网络透明度

推荐理由:Anthropic 的可解释性工作是理解 AI 黑箱的关键,做 AI 安全或模型研究的团队值得收藏这个页面,直接了解最新成果和加入机会。
5月12日
23:56
François Chollet@fchollet
60
François Chollet 在推文中澄清,符号学习(Symbolic learning)并非要取代编程智能体,而是作为梯度下降和神经网络的替代方案。他将其描述为一种低层次、完全通用且极其可扩展的新型学习基底。这一观点重新定义了符号学习的定位,表明它可能在未来AI系统中扮演更基础的角色,为模型优化提供不同于反向传播的新途径。
AI模型符号学习梯度下降神经网络AI研究学习范式

推荐理由:重塑对符号学习的认知,明确其作为底层学习范式的潜力,对AI研究者和从业者理解未来方向有参考价值。
5月11日
11:44
arXiv cs.LG(学术论文)
35
研究者提出了一种名为Susceptibilities的技术,用于深度强化学习中神经网络的可解释性分析。该方法通过研究损失扰动对观测值后验期望的影响,扩展到RL的遗憾(regret)设置中。在简单的网格世界模型中,Susceptibilities能够揭示参数空间内模型发展的内部特征,而这些特征通过单纯学习策略发展无法检测。验证实验使用激活引导(activation-steering)证实了结果,并讨论了该方法扩展到RLHF后训练的可能性。这一工作为理解RL智能体的行为和学习过程提供了新的分析工具。
论文强化学习可解释性神经网络RLHF

推荐理由:对强化学习研究者有参考价值,提供了超越传统策略分析的模型内部状态洞察方法,尤其可用于分析RLHF训练中的阶段变化。