AITOP

GQA

共 3 条相关 AI 资讯
7月31日
10:11
10:11官方一手arXiv: DeepSeek@Nelson Higuera Ruiz, Markus Hofmarcher, Claudiu Leoveanu-Condrei
一项新研究让大语言模型在1小时内从空文件开始编写ASP理论，并用求解器在环评估。在CLEVR、GQA、CLEVRER三个VQA基准上，Claude Sonnet 4.6、Claude Opus 4.7、DeepSeek V4 Pro均达CLEVR 100%、GQA 92.8%-98.8%。GPT-5在CLEVR达98.7%，但在GQA仅41.8%。加入其他数据集的手写参考理论后，GPT-5准确率下降3-19个百分点，而其他前沿模型变化不超过±3.4个百分点。研究者已开源代码、提示词和蒸馏出的理论。
论文答案集编程CLEVRGQA
推荐理由：让模型自己从零写ASP规则，Claude、GPT-5等九个模型限时1小时。CLEVR有人拿满分，GQA上GPT-5跌到41.8%。
原文
6月17日
08:07
5月23日
17:52
17:52官方一手marktechpost@Sana Hassan
本文是一篇教程，介绍如何使用 OpenMythos 框架构建循环深度 Transformer 模型，并在 Google Colab 中端到端运行。教程涵盖了多头潜在注意力（MLA）、分组查询注意力（GQA）、稀疏混合专家（MoE）和循环缩放推理等高级特性。作者通过构建 MLA 和 GQA 两种变体，对比了它们的参数量，并通过谱半径检查了循环注入矩阵的稳定性。该教程为研究人员和开发者提供了在有限资源下探索循环深度 Transformer 的实用指南。
论文循环深度 TransformerOpenMythosMLA
推荐理由：想低成本在 Colab 里跑循环深度 Transformer 的研究者可以直接上手——OpenMythos 把 MLA、GQA、稀疏 MoE 这些前沿结构打包成了可复现的教程，做注意力机制或推理效率优化的团队值得点开。
原文