11:12arXiv cs.LG@Matteo Cartiglia, Sandro Kuppel, Wouter Botermans Wannes Peeters, Natan Biesmans, Liam Vandekerckhove, Eric Beamish, Koen Ongena, Wouter Renckens, Pol Van Dorpe, Sanjin Marion该研究提出用对比编码器将随机单分子信号映射到可解释分子坐标,编码器仅基于物理模型模拟信号训练。编码器对结构参数敏感,对采集条件和构象不变,允许跨设备数据整合。单次编码完成分子识别,计算成本比对齐方法降低三个数量级。实验验证了混合物定量、稀有变异检测和实时信号采集。论文纳米孔单分子传感对比学习编码器可解释性推荐理由:这篇论文用模拟信号训练编码器,把纳米孔信号转成可解释坐标,识别快了一千倍,实验也扎实。原文
19:12arXiv cs.AI@Rian Touchent, Eric de la Clergerie精选论文提出一种编码器领域适配新方法:先用因果语言建模(CLM)训练,再切换回掩码语言建模(MLM)微调。在 ModernBERT 上测试,该方法在 8 个法语和 11 个英语生物医学任务上,相比纯 MLM 基线提升 0.3-2.8 个百分点。研究发现 CLM 的密集监督主要影响低层 Transformer 层(0-7),冻结低层会消除收益,而冻结中层则保留收益。这种表征变化在后续 MLM 阶段持续存在,且随模型规模扩大而增强。团队发布了 ModernCamemBERT-bio 和 ModernBERT-bio 作为生物医学编码器新基准。论文编码器领域适配因果语言建模掩码语言建模ModernBERT推荐理由:做 NLP 领域适配的团队终于有了比纯 MLM 更优的预训练策略——CLM 绕路法简单有效,在生物医学任务上直接涨点,建议做领域编码器的开发者试试这个两阶段方案。原文