事件专题 ·单一信源

语言模型可自主控制注意力机制

研究团队提出声明式注意力(DA)协议,让模型在思维链中声明需要关注的内容区域。该协议将生成分为全局、聚焦和局部三种模式,在15个长上下文任务中,Gemma-4-31B和Qwen-3.6-27B模型解码时关注token分别减少52.0%和31.1%,准确率仅下降1.27pp和2.75pp。

当前结论

新DA协议让模型自己决定关注哪部分内容,大幅减少计算量,Gemma和Qwen模型效果显著。

2 个信源78° AI 热度最后更新 2026/9/2 15:43:38

证据链

2 个信源

冲突核查

现有去重数据只说明这些来源讨论同一事件,不代表立场相同。当前没有结构化的支持或反驳证据,不自动推断冲突。