Llama-3.2-3B 相关 AI 资讯 · AI 热点

7月8日

12:12

12:12

官方账号arXiv cs.AI@Kai Ruan, Zihe Huang, Ziqi Zhou, Qianshan Wei, Xuan Wang, Hao Sun

该论文利用LLM Agent每轮隐藏状态的探针（probe），在任务早期预测最终失败。在TextCraft基准上，Recall-Controlled Probe Cascade以90%召回率目标为Qwen-2.5-7B节省47.1%推理计算，为Llama-3.2-3B节省37.2%。相比仅基于行为的方法，节省量高出1.6-1.7倍。论文还推导了保证高召回率所需的样本复杂度。

论文 LLM Agent Qwen-2.5-7B Llama-3.2-3B TextCraft 推理优化

推荐理由：这篇论文告诉你如何从模型内部状态提前看出agent会失败，比看外部行为省算力多了，实测省三到四成。

6月17日

11:38

11:38

官方账号arXiv cs.LG@Abir Ashab Niloy, Ahmed Ryan, Imamul Hossain Rafi, Md Erfan, Md Rayhanur Rahman

研究者构建了一个包含870个会话（70个攻击，800个正常）和约230万事件的多源日志数据集，覆盖系统、网络和浏览器日志。攻击事件用ATT&CK技术ID标注，涉及12种战术和53种技术。使用LoRA微调Qwen2.5-1.5B、Llama-3.2-3B、Phi-4-Mini三个小型语言模型，在分块分类任务上准确率从约8%提升至90%-97%。技术识别任务最佳精确匹配准确率为42%，但部分匹配得分较高，表明模型掌握了大部分推理逻辑。

论文 Qwen2.5-1.5B Llama-3.2-3B Phi-4-Mini ATT&CK 多源日志

推荐理由：这个新数据集把系统、网络和浏览器日志合在一起，还按ATT&CK标准标了攻击手法。拿三个小模型试了一下，分块分类准确率从8%升到90%以上，挺实用的。

6月4日

11:29

11:29

官方账号arXiv cs.LG@Yaseen M. Osman, Geoff V. Merrett, Stuart E. Middleton

精选

该论文系统检验了基于MLP激活值的深度主动学习方法在LLM上下文学习（ICL）样本选择中的有效性。研究者使用Llama-3.2-3B和Qwen2.5-3B模型，在分类和生成任务上测试了多种注意力掩码策略，发现MLP输出的激活值（包括大规模激活和前四阶矩）与样本质量或任务性能的Spearman相关系数最高仅0.33，表明该方法不可靠。论文推测失败原因可能是“叠加”现象（模型表示的特征数超过维度数），并指出稀疏自编码器（SAE）可能是未来方向。这是目前最全面的MLP激活值主动学习在ICL中的分析，但结论为负。

论文上下文学习主动学习 MLP激活值 Llama-3.2-3B Qwen2.5-3B

推荐理由：如果你在做ICL样本选择或主动学习，这篇论文用实验告诉你MLP激活值这条路走不通，省下试错时间。做LLM推理效率或特征分析的开发者，看完会理解为什么SAE可能是更好的方向。