03:00Allen AI (Ai2)@allen_ai精选Allen AI 发布了 Olmo 3(纯 Transformer)与 Olmo Hybrid(Transformer-RNN 混合)的对比研究。Hybrid 模型在长序列任务中展示了更高效的 token 处理,性能提升约15%。该研究揭示了混合架构在减少计算复杂度的同时保持了与 Transformer 相当的准确率。具体基准上,Hybrid 模型在 Long Range Arena 任务中得分高于 Olmo 3 约 8%。AI模型OlmoAllen AI混合模型Transformer-RNN长序列推荐理由:Allen AI 拿自家 Olmo 3 和 Hybrid 版做了实测对比,看混合模型到底比纯 Transformer 好在哪,结果挺有意思。原文
12:00arXiv cs.LG@Yeganeh Marghi, Kelly Jin, Uygar Sümbül最优传输(OT)在分布映射中提供了理论框架,但计算成本高且结果难以解释。新提出的最优混合传输(OMT)将传输对象从单个样本转向子总体混合,并将问题转化为严格双凸优化,保证唯一全局最小值。OMT 在理论上证明传输映射的稳定性,即底层分布的有限扰动导致传输计划的有限变化。通过将子总体建模为指数族分布,OMT 的计算复杂度仅与混合成分数量相关,而非样本量。在图像数据和单细胞 RNA 测序等大规模真实数据集上,OMT 展示了有效性和实用性。论文最优传输混合模型双凸优化稳定性单细胞RNA测序推荐理由:OMT 解决了大规模数据上最优传输计算昂贵且结果难解释的痛点,做分布对齐、数据融合或生物信息学的团队可以直接用这个框架来获得稳定且可解释的传输计划。原文