LLaMA 相关 AI 资讯 · AI 热点

7月9日

10:15

10:15

官方账号arXiv cs.LG@Anna Kuzina, Paul N. Whatmough, Babak Ehteshami Bejnordi

72°

论文揭示了因果自注意力二次复杂度对长上下文推理的瓶颈，在冻结骨干网络下隔离了状态更新设计的效果。研究表明Softmax依赖key相关的秩1正交投影，解释了为何delta式网络优于纯门控累积。作者通过引入sink token、短卷积和固定预算缓存路由等结构干预，减少了近似误差。在LLaMA和Qwen模型上扩展至32B参数，MMLU基准超越了先前后验线性化方法，长上下文检索匹配复杂自适应缓存框架。

论文 LLaMA Qwen Transformer 线性化 MMLU

推荐理由：这篇论文搞清楚了Transformer线性化为什么delta式更厉害，还给出了具体修补方案，在LLaMA和Qwen上跑到了32B，MMLU成绩比之前的后验方法好。

7月4日

20:20

20:20

官方账号Clement Delangue@ClementDelangue

Hugging Face联合创始人Clement Delangue为庆祝美国建国250周年，整理出250项源自美国的开放AI里程碑，涵盖Attention is all you need、PyTorch、GPT-2、LLaMA、ImageNet、LoRA等模型、数据集、论文和工具。这些成果体现了开放科学、开放竞争和开放生态如何推动美国成为创新引擎。文章警告当前AI领域开放精神正面临风险，呼吁科学家和建设者选择开放透明的未来。

行业 Hugging Face 开源模型 LLaMA PyTorch 开放科学

推荐理由：Hugging Face整理了250个美国AI里程碑，从Attention到LLaMA，看看开放生态怎么成就了AI。

6月30日

10:41

10:41

官方一手arXiv: DeepSeek@Sebastian Kula, Martin Tamajka

该论文提出一种多智能体虚假信息检测方法，模仿人类标注者的决策过程，采用共识机制、认知与知识多样性以及层次结构。系统使用开源模型LLaMA、Qwen、Deepseek等，确保透明度。在英语、波兰语、斯洛伐克语、保加利亚语数据集上评估，性能超过GPT-4和GPT-3.5。任务包括直接检测虚假信息、识别值得验证的文本、检测可验证事实主张。

论文 LLaMA Qwen Deepseek GPT-4 虚假信息检测

推荐理由：这篇论文用多个开源模型合作检测假新闻，效果比GPT-4还好，还用了四种语言测试，值得搞安全或内容审核的人看看。