AITOP

神经网络

共 33 条相关 AI 资讯
8月24日
11:02
11:02官方账号arXiv cs.AI@David P. Stonko
精选
提出Anatomy-Informed Neural Networks (AINN)，通过在损失函数中引入软解剖先验和将硬解剖先验构建到架构中，解决深度学习解剖模型可能产生不合理的预测问题。在有限数据的临床案例中，研究主动脉髂动脉树在引入硬质导丝时的变形。使用Wasserstein-2最优传输损失进行监督，将2D血管造影训练3D预测。未进行网络训练，未来工作将模型应用于真实CT扫描。
论文Anatomy-Informed Neural Networks解剖先验神经网络
推荐理由：这篇论文提出了一个新颖的解剖信息神经网络模型，通过引入解剖先验来提高解剖模型的准确性，对于需要精确解剖信息的领域如血管手术和内血管导航具有重要意义。
原文
8月21日
10:37
10:37官方账号arXiv cs.AI@Vincenzo Sammartino, Nathanael Denis, Roberto Di Pietro
QUASAR是一种量子经典混合架构，结合CNN频谱编码器和变分量子电路（VQC），为X波段SAR信号提供物理层认证。该方案比传统机器学习更数据高效，仅需10%的训练数据即可匹配经典基线的准确性，并在相同数据预算下提高分类准确性。在三种对抗场景下测试，QUASAR分别拒绝了89.7%、94.1%和81.3%的欺骗传输，建立了首个用于卫星星座的量子增强物理层分类器。
论文量子计算物理层认证SAR卫星
推荐理由：QUASAR结合了量子计算和经典机器学习，在SAR卫星物理层认证方面取得了显著成果，比传统方法更高效，值得一看。
原文
8月20日
23:04
7月28日
11:56
7月24日
11:57
7月22日
12:04
12:04官方账号arXiv cs.LG@Chen Ziheng
这篇论文提出了黎曼深度学习的统一框架，涵盖可复用模块、流形特定网络和底层几何设计。它将批量归一化从欧氏空间和单一流形推广到李群和陀螺群等广泛类别，将多项逻辑回归从欧氏空间扩展到SPD流形再推广到一般黎曼流形。论文还开发了无约束双曲空间模型、Busemann双曲学习以及全秩相关矩阵的神经网络。此外，引入了SPD流形上可学习的Log-Euclidean几何和快速的Cholesky几何。方法在视觉、信号处理、图学习和基因组学等应用中通过实验验证。
论文黎曼深度学习流形神经网络
推荐理由：这篇论文把黎曼深度学习做成了统一理论，把批量归一化、逻辑回归推广到各种流形，还有新的双曲模型和高效几何，搞几何深度学习的别错过。
原文
11:36
11:36官方账号arXiv cs.LG@Haoze Zhang, Han Li, Ke Xiao, Yangchen Xu, Runze Mao, Zhi X. Chen
该论文提出一种热力学启发的输入重参数化策略TAIR，用于超临界燃烧模拟中真实流体热力学性质的神经网络预测。TAIR将每个属性网络的原始焓坐标替换为目标匹配的热力学坐标：温度网络使用常cp理想气体混合物焓近似反推的温度估计，密度和压缩系数网络使用理想气体密度估计。在超临界甲烷-氧对冲火焰数据上，TAIR将温度T、密度ρ和压缩系数ψ的留出集RMSE分别降低约1.5、2.0和7.5倍。对于未见过的应变率火焰，对应因子达到3.6、14.5和6.0。目标不一致的交叉重参数化控制表现更差，证实增益来自热力学匹配的输入设计。
论文TAIR超临界燃烧神经网络
推荐理由：这篇论文用TAIR方法让神经网络学真实流体偏离理想气体的部分，超临界燃烧场景下误差降了数倍，做物理信息嵌入的可以看看。
原文
7月10日
11:23
11:23官方账号arXiv cs.LG@Yann Claes, Pierre Geurts, Vân Anh Huynh-Thu
论文提出一种通过偏依赖约束引导神经网络训练的新方法，使模型对特定特征的响应符合先验知识。在多个回归任务（包括动态系统预测）上的实验表明，该方法训练的模型比无约束模型性能更好且数据效率更高。从约束模型得到的解释与实际用户知识一致，而无约束模型则不然。
论文可解释性偏依赖神经网络
推荐理由：这篇论文给了你可解释AI的新思路：用偏依赖约束让模型学得更准，还能确保解释符合常识，尤其适合回归问题。
原文
7月9日
09:47
09:47官方账号arXiv cs.LG@C G Krishnanunni, Thomas Scott, Tan Bui-Thanh
本研究提出基于后验误差估计的神经网络深度自适应方法，将训练建模为连续时间最优控制问题，推导误差分布到各层的严格上界。通过双加权残差方法获得可计算误差指示器，在累计误差最大处插入新层。在Navier-Stokes方程的科学数据集上，该方法在泛化性能上优于现有架构自适应方法。
论文最优控制误差估计自适应架构
推荐理由：这篇论文搞了个新路子，用误差估计自动告诉你该在网络的哪一层加更多神经元，在流体力学数据上比现有方法都强。
原文
7月7日
09:12
7月3日
09:14
09:14官方账号arXiv cs.LG@Preston Pitzer, Anish Pradhan, Harpreet S. Dhillon
该论文证明H-Score目标在无约束函数下对可逆变换不变，但在约束近似类中对输入基旋转敏感。提出用快速傅里叶变换（FFT）作为数据无关的低成本预处理器，将跨协方差奇异值谱集中到少数主模式，从而减少有限宽度截断误差。在8个多元数据集实验中，FFT预处理在资源受限场景下最多降低50%的归一化均方误差（NMSE）。论文还引入基于谱熵和累积依赖能量的无训练指标，可提前评估基的适用性并预测下游推理增益。
论文FFTH-Score特征学习
推荐理由：这篇论文教你用FFT给特征学习网络做预处理，在数据少时也能提升效果，实验显示NMSE最高降一半，值得搞特征提取的人看看。
原文
7月2日
12:24
12:24官方账号arXiv cs.LG@Jingyi Chen, Xinyuan Zhang, Xinwu Qian
精选
组合优化问题因可验证的离散结构导致指数级搜索空间。该研究提出神经证书定价（NCP），在无监督学习框架下训练神经网络预测证书级对偶价格，并通过结构恢复层构建原始边际。满足证书一致性条件时，恢复的边际全局可行，且一阶预测误差仅引起目标值的二阶损失。在三个组合优化问题类别上，NCP大幅超越或匹配现有最优神经基线，同时计算时间显著减少，且分布外泛化能力更强。
论文NCP组合优化神经网络
推荐理由：新论文提出NCP方法，用神经网络直接预测组合优化问题的对偶价格，比之前的方法更快更准，泛化也好，值得关注。
原文
7月1日
09:57
09:57官方账号arXiv cs.LG@Mark Levene, Martyn Harris
该论文研究神经网络对输入值随机噪声扰动的鲁棒性。作者提出一种基于高概率的鲁棒性度量，给出均方误差的上界，且将网络视为黑箱计算。在多个真实数据集上的实验验证了方法的有效性。论文还引入鲁棒性曲线概念，用于分析数据内部和跨数据集的鲁棒性特征。
论文神经网络鲁棒性输入扰动
推荐理由：这篇论文提出了一种计算简单的方法，能告诉你神经网络对输入噪声的容忍上限，还画出了鲁棒性曲线，帮你量化模型稳定性。
原文
6月29日
10:14
10:14官方账号arXiv cs.LG@Phong Dang, Evander Espinoza, Xiaoliang Wan, Michela Negro, Jerry P. Draayer, Feng Pan, Tomas Dytrych, Daniel Langr, David Kekejian
这篇论文研究SU(3)和SU(4)对称性是否支配整个核素图的核结合能。作者构建了三种神经网络质量模型：FINN（点预测）、GINN（不确定性量化）和WINN（以Casimir算子为基的质量公式）。训练数据为AME2016，验证于AME2020新增核。SU(4)算子单独使均方根误差（RMSE）相较液滴基线在训练和测试集上降低近一半，在外推上降低约五分之一。WINN达到最低验证RMSE为0.430 MeV，与顶级质量模型竞争力相当。WINN还揭示中子滴线附近SU(4)二次Casimir增强（对称性恢复）和超重区四次算子意外增益。
论文SU(3)SU(4)WINN
推荐理由：这篇论文用可解释神经网络从对称性角度预测原子核质量，WINN模型精度0.430 MeV，还揭示了中子滴线和超重区的新现象，值得搞核物理或AI的人看看。
原文
6月18日
02:53
6月16日
12:26
12:26官方账号arXiv cs.LG@Alper Yıldırım
论文复现了Oppenheim和Lim（1981）的经典实验，在隐藏层中测试相位与幅度对图像识别的影响。在PRISM2D、GFNet和ViT-B/16中，预测完全跟随相位或符号捐赠者，删除幅度信息后准确率几乎不变。ResNet-50在ReLU后看似不遵循此模式，但ReLU前的干预显示晚期块中存在强相位编码，且DC-only控制表明读取器依赖通道式空间平均。这些架构共享相位/符号身份编码，但因整流和读取几何暴露在不同基底上，为CNN与注意力模型间的纹理-形状差距提供了机理解释。
论文PRISM2DGFNetViT-B/16
推荐理由：这篇论文用Oppenheim-Lim实验方法测试了多个模型（ViT、CNN）的内部表示，发现相位才是关键，还解释了为什么CNN和ViT对纹理和形状的偏好不同。
原文
6月15日
11:12
6月12日
06:36
6月11日
12:37
12:37官方账号arXiv cs.AI@Gleb Gerasimov, Timofei Rusalev, Nikita Balagansky, Daniil Laptev, Vadim Kurochkin, Daniil Gavrilov
精选
该研究系统分析了稀疏自编码器（SAE）在不同训练种子下特征的稳定性。研究发现，稳定特征承载了大部分重构和预测相关的信号，而不稳定特征个体不可复现但集中在可复现的低秩子空间中，表明种子依赖性更多反映激活空间内的基模糊性而非纯噪声。通过跨种子聚合独特特征，可以在保持解释方差的同时构建更稳定的SAE。该工作为理解SAE的可靠性提供了新视角。
论文稀疏自编码器特征稳定性可解释性
推荐理由：做神经网络可解释性研究的团队会关心——SAE特征不稳定不是噪声，而是低维结构的基选择问题，看完能帮你更合理设计实验和解读结果。
原文
6月10日
09:29
09:29官方账号arXiv cs.LG@Jakob Galley, Vahid Shahverdi, Axel Flinth
精选
该研究探讨了训练数据的对称性是否会在神经网络的梯度流训练中产生守恒量。作者证明，在损失函数为解析且非多项式的一般情况下，数据对称性通常不会引入额外的运动积分。但对于均方误差（MSE）损失，数据增强有时会产生额外的守恒量。研究通过引入“可张量化网络”框架来描述这一现象，这类架构包括线性网络、多项式网络以及Lightning Attention。
论文神经网络对称性守恒律
推荐理由：这项研究澄清了数据对称性与神经网络训练动力学之间的深层关系，对理解数据增强的理论基础有重要意义。做理论研究的机器学习学者值得关注，它可能影响你对数据增强策略的设计思路。
原文
6月8日
08:39
08:39IT之家（博客/媒体）
精选
麦考瑞大学研究团队开发了一款基于神经网络的 AI 算法，用于识别机场 CT 扫描影像中的鱼翅、海马、海参等常见走私海洋生物样本，整体识别准确率达 92%。该算法利用机场现有的 X 射线 CT 设备，通过训练识别三维影像中的走私物品，可自动标记可疑行李供人工核查。研究模拟了真实走私场景，包括用锡纸、衣物包裹或藏在玩具内，测试结果显示鱼翅识别准确率 95%，海马 96%，海参 86%。虽然误报率为 13%，但该技术有望成为打击海洋野生动物走私的有力工具，不过仍需人工复核，且受限于 CT 设备的高昂成本。
AI产品AI 算法海洋走私CT 扫描
推荐理由：海洋走私每年交易额达数十亿美元，AI 检测能大幅提升查获率，做海关安检或生态保护的团队值得关注这套方案。
原文
6月3日
20:06
20:06官方一手Pandaily@contact@pandaily.com (Pandaily)
华中科技大学和上海交通大学的研究团队在玻璃内部直接写入可编程三维光子神经网络，实现了光子计算的新范式。该技术利用飞秒激光在玻璃中刻写光波导和可调谐节点，构建出能在光域内执行神经网络运算的3D结构。相比传统电子芯片，光子神经网络具有低功耗、高带宽和并行处理优势，有望在人工智能推理、边缘计算等领域突破现有硬件瓶颈。这项成果展示了玻璃作为光子计算基板的潜力，为未来集成光子AI芯片提供了新路径。
论文光子计算神经网络3D集成
推荐理由：光子计算是突破AI算力瓶颈的关键方向，做硬件加速或边缘计算的团队值得关注——玻璃内写神经网络的方法比传统硅基方案更灵活，功耗更低，建议点开了解技术细节。
原文
5月28日
11:32
11:32官方账号arXiv cs.AI@Bibek Poudel, Sai Swaminathan, Weizi Li
AlphaTransit 是一个基于搜索的公交网络规划框架，结合了蒙特卡洛树搜索（MCTS）与神经网络策略-价值网络，用于解决公交线路设计中延迟反馈的挑战。它能在构建完整网络前预测每条线路扩展的长期效果，避免局部优化导致的换乘瓶颈或重叠问题。在Bloomington基准测试中，AlphaTransit在混合和全公交需求场景下分别达到54.6%和82.1%的服务率，比纯强化学习提升9.9%和11.4%，比无学习引导的MCTS提升2.5%和11.2%。代码和数据已开源。
论文公交网络设计MCTS/搜索神经网络
推荐理由：城市交通规划团队终于有了一个能提前预见线路设计后果的AI工具——AlphaTransit用搜索+学习解决了公交网络设计的延迟反馈难题，做交通规划或智慧城市的研究者可以直接用开源代码跑自己的数据。
原文
5月25日
10:02
10:02官方账号arXiv cs.LG@Vincent C. Brockers, Roman D. Ventzke, Valentin Neuhaus, Belén Hidalgo-Ogalde, Viola Priesemann
本文研究了神经网络中的“潜意识学习”现象，即学生模型通过教师模型在任务无关的输入-输出对上进行蒸馏，从而获得任务相关知识或偏差。先前研究认为这需要师生初始化高度匹配，但本文证明只需兼容的输出头即可实现。在MNIST数据集上，通过将输出分为辅助头（处理噪声）和分类头，即使在隐藏层随机初始化、增减层或改变架构（如MLP到CNN）的情况下，潜意识学习仍会发生。兼容的辅助头能传递可恢复的教师信号，使学生表征更接近教师。当分类头也兼容时，仅用噪声训练的学生模型可接近甚至匹配教师的任务性能。本文还建立了理论解释机制并推导了失效的上界，将潜意识学习从意外现象转化为可预测的机制。
论文知识蒸馏神经网络潜意识学习
推荐理由：这篇论文揭示了神经网络蒸馏中一个反直觉但关键的机制——潜意识学习并不依赖初始化匹配，而是由输出头兼容性驱动。做模型压缩、知识蒸馏或研究表征对齐的研究者值得细读，它可能改变你对蒸馏数据选择的认知。
原文
5月24日
03:28
03:28rohanpaul_ai@rohanpaul_ai
76°
Andrej Karpathy 在 Sequoia Capital 的访谈中提出，未来计算可能从经典计算转向神经计算，神经网络成为主机进程，CPU 退居协处理器。他认为许多现有软件是早期计算时代需要明确每一步的产物，未来设备可能直接接收原始视频、音频或意图，通过扩散模型实时生成独特 UI。这意味着大量中间软件可能消失，界面不再由产品团队预先构建，而是根据当前时刻动态生成。Karpathy 指出，1950-60 年代人们曾困惑计算机会像计算器还是神经网络，最终选择了计算器路径，但现在可能迎来反转。
行业神经网络计算范式软件消失
推荐理由：Karpathy 把软件行业的底层假设翻了个底朝天——未来可能不是更好的 App Store，而是神经网络直接接管界面生成。做产品、搞架构的开发者看完会重新思考自己每天在写什么。
原文
5月22日
11:19
11:19官方账号arXiv cs.LG@Carlos Heredia, Daniel Roncel
精选
研究人员提出了一种名为ICDN（可积分上下文依赖需求网络）的神经网络模型，用于多产品零售需求预测。该模型将对数需求作为对数价格的平滑、上下文条件函数进行学习，从而能够精确推导出弹性。在Dominick's啤酒数据集上，ICDN相比传统的对数-对数基准模型，在样本外泛化上表现更优，并生成了更稳定、经济上更合理的弹性估计，尤其对于弱识别的交叉价格效应。
论文需求预测定价优化神经网络
推荐理由：零售定价和需求预测的从业者终于有了一个能稳定估计交叉价格弹性的工具——ICDN直接解决了传统模型在弱识别场景下的不稳定问题，做品类管理和定价优化的团队值得关注。
原文
5月21日
12:23
12:23官方账号arXiv cs.LG@Alim Igilik
精选
传统地震预测模型假设泊松分布且全局离散度一致，但中亚地震数据（2010-2024）强烈拒绝该假设（p<10^{-179}）。本研究提出 EarthquakeNet 架构，通过神经网络（空间嵌入+MLP）内生估计每个网格的过离散参数 alpha，无需显式空间协方差设定。相比传统负二项回归假设全局 alpha，该模型能识别地震聚集的空间异质性，并通过预测分布分位数构建概率风险警报。2018-2023 年滚动评估显示，平均引脚偏差（MPD）比负二项 GLM 基线降低 8.6%，在极端事件（Y>=5）的连续排名概率分数（CRPS）降低 12.5%。
论文地震预测神经网络负二项回归
推荐理由：地震预测领域终于有了能捕捉空间异质性的神经网络方法，做灾害风险评估的团队可以直接用分位数构建警报，比传统全局假设模型更准。
原文
5月18日
23:14
23:14官方账号AlphaSignal@AlphaSignalAI
精选72°
一篇新论文提出 adVersarial Parameter Decomposition (VPD) 方法，将神经网络权重分解为小型、单一用途的子组件，每个组件处理特定任务（如表情预测或性别识别）。该方法通过对抗性消融训练保留关键行为，并成功分解了跨多头注意力计算——这一难题三年未解。VPD 可扩展到真实四层语言模型，被视为稀疏自编码器的有力竞争者。它允许通过归因图追踪信息流，甚至手动编辑特定行为并预测结果，使模型权重变得可解释。
论文可解释性VPD神经网络
推荐理由：VPD 解决了神经网络可解释性长期以来的痛点——权重不可读，做模型调试、安全对齐或研究 AI 内部机制的团队可以直接用这个工具来追踪和编辑模型行为。
原文
5月15日
11:09
11:09官方账号arXiv cs.LG@ML Nissen Gonzalez, Melwina Albuquerque, Laurence Wroe, Jacob Meyer Cohen, Logan Riggs Smith, Thomas Dooms
精选
这篇论文提出了一种新的权重度量方法——张量相似性（Tensor Similarity），用于判断两个神经网络是否实现相同的计算。现有方法要么依赖经验行为（对分布外机制不敏感），要么依赖基依赖参数（忽略权重空间对称性）。新方法通过递归算法捕捉跨层机制，对权重空间对称性保持不变，从而更准确地衡量全局功能等价性。实验表明，张量相似性在追踪训练动态（如grokking和后门插入）方面优于现有指标。这项工作将相似性测量和忠实性验证从经验近似问题转化为可解的代数问题。
论文可解释性神经网络张量相似性
推荐理由：做可解释性研究的团队终于有了一个不依赖经验近似、能真正衡量网络等价性的工具，值得关注。
原文
5月13日
21:36
21:36官方一手Anthropic: Research（资讯）
Anthropic 发布了其可解释性研究团队的官方页面，集中展示了团队在理解神经网络内部工作机制方面的核心工作。该团队致力于揭示 AI 模型如何做出决策、学习概念以及可能产生偏见，从而提升 AI 系统的安全性和可控性。页面介绍了团队的研究方向、关键成果以及开放职位，体现了 Anthropic 对 AI 安全与透明度的长期投入。对于关注 AI 安全、模型可解释性以及前沿研究的读者，这是一个重要的资源入口。
行业可解释性AI安全Anthropic
事件专题
推荐理由：Anthropic 的可解释性工作是理解 AI 黑箱的关键，做 AI 安全或模型研究的团队值得收藏这个页面，直接了解最新成果和加入机会。
原文
5月12日
23:56
5月11日
11:44
11:44官方账号arXiv cs.LG（学术论文）
研究者提出了一种名为Susceptibilities的技术，用于深度强化学习中神经网络的可解释性分析。该方法通过研究损失扰动对观测值后验期望的影响，扩展到RL的遗憾（regret）设置中。在简单的网格世界模型中，Susceptibilities能够揭示参数空间内模型发展的内部特征，而这些特征通过单纯学习策略发展无法检测。验证实验使用激活引导（activation-steering）证实了结果，并讨论了该方法扩展到RLHF后训练的可能性。这一工作为理解RL智能体的行为和学习过程提供了新的分析工具。
论文强化学习可解释性神经网络
推荐理由：对强化学习研究者有参考价值，提供了超越传统策略分析的模型内部状态洞察方法，尤其可用于分析RLHF训练中的阶段变化。
原文
5月10日
14:00