03:00Allen AI (Ai2)@allen_ai精选Allen AI 发布了 Olmo 3(纯 Transformer)与 Olmo Hybrid(Transformer-RNN 混合)的对比研究。Hybrid 模型在长序列任务中展示了更高效的 token 处理,性能提升约15%。该研究揭示了混合架构在减少计算复杂度的同时保持了与 Transformer 相当的准确率。具体基准上,Hybrid 模型在 Long Range Arena 任务中得分高于 Olmo 3 约 8%。AI模型OlmoAllen AI混合模型Transformer-RNN长序列推荐理由:Allen AI 拿自家 Olmo 3 和 Hybrid 版做了实测对比,看混合模型到底比纯 Transformer 好在哪,结果挺有意思。原文