Transformer-RNN 相关 AI 资讯 · AI 热点

6月26日

03:00

03:00

官方账号Allen AI (Ai2)@allen_ai

精选

Allen AI 发布了 Olmo 3（纯 Transformer）与 Olmo Hybrid（Transformer-RNN 混合）的对比研究。Hybrid 模型在长序列任务中展示了更高效的 token 处理，性能提升约15%。该研究揭示了混合架构在减少计算复杂度的同时保持了与 Transformer 相当的准确率。具体基准上，Hybrid 模型在 Long Range Arena 任务中得分高于 Olmo 3 约 8%。

AI模型 Olmo Allen AI 混合模型 Transformer-RNN 长序列

推荐理由：Allen AI 拿自家 Olmo 3 和 Hybrid 版做了实测对比，看混合模型到底比纯 Transformer 好在哪，结果挺有意思。