Llama-3

general · First seen 2026-05-22 · Last seen 2026-10-28 · 202 mentions

Overview

Llama-3 是 Meta 于 2024 年发布的开源大语言模型系列,涵盖 8B 与 70B 等参数规模,后续又推出了 Llama-3.1 与 Llama-3.2 等迭代版本,是目前学术界与开源社区使用最广泛的基座模型之一。由于权重公开可下载,它经常成为各类压缩、加速和安全研究的首选实验对象。

Llama-3 的近期研究进展

  • AMTP:自适应多 token 预测让 Llama-3.1 解码提速至 4.1 倍:研究者提出自适应多 token 预测方法,在 Llama-3.1 上实现了最高 4.1 倍的解码加速,显示多 token 预测正成为推理提速的实用路线。
  • SetGRPO 提出校准评分器扰动的策略优化方法,在 Qwen3.5 与 Llama3.2 上十个基准拿下最高宏平均:该方法在 Llama3.2 等模型上于十个基准测试中取得最高宏平均成绩,表明 Llama 系列仍是强化学习后训练研究的常用载体。
  • BellowsKV:跨层共享 KV 缓存,压缩 13 倍仍保留 97% 精度:通过跨层共享 KV 缓存实现 13 倍压缩,同时保持 97% 的任务精度,为在 Llama-3 这类开源模型上做长上下文部署提供了参考。
  • Heads of Security:注意力门控防御提示注入攻击:利用注意力头门控机制缓解提示注入攻击,反映了围绕开源模型安全性的研究正在细化到注意力层级别。
  • 当前焦点与观察点

    围绕 Llama-3 的研究大致呈现三条主线。其一是推理效率:多 token 预测、KV 缓存压缩、SVD 低秩分解(如 LEMS 与 KFAC-SVD 方案)等方向都在尝试降低开源模型的部署成本,其中部分工作已能在大幅压缩下维持九成以上精度。其二是后训练与评测:以 Llama3.2 为代表的模型被广泛用于验证新的策略优化算法,使不同研究的结论具备可比性。其三是安全与鲁棒性:提示注入防御、智能体行为模拟的一致性缺陷、以及针对推理系统的硬件层攻击等议题逐渐受到关注。

    值得注意的是,随着 Meta 将重心逐步转向更新的模型版本,Llama-3 系列在工业界的直接应用可能减少,但作为公开可复现的基准模型,它仍会在压缩、安全和评估研究中长期存在。观察者可关注其后续版本在多模态与长上下文能力上的演进,以及社区是否形成统一的开源模型安全评测标准。

    Coverage

    10 on file