Llama-3.1-8B 相关 AI 资讯 · AI 热点

7月3日

09:47

09:47

官方一手arXiv: DeepSeek@ Yonghui, Huang, Lin Ma, Amjed Tahir, Qian Zhang, Liwen Xiao, Lysa Xiao

研究发现，在对六个LLM模型（包括DeepSeek-V3、Llama-3.1-8B等）进行26,016次多轮编程测试中，40%至73%的任务在8轮对话中丢失了之前正确的行为。论文构建了542个基于HumanEval+和MBPP+的任务，并扩展为8轮需求演化链。手动分析384个失败案例后，确定了跨轮冲突是主要失效模式。Verification Gate策略（对先前测试进行新代码验证并回滚重试）能将DeepSeek-V3的最终轮质量从75.8%提升至87.9%，Llama-3.1-8B从31.6%提升至47.3%。

论文 LLM 编程助手回归累积 DeepSeek-V3 Llama-3.1-8B

推荐理由：这篇论文揭示了多轮编程时模型容易忘掉之前写对的东西，甚至四成以上任务会翻车。他们发现一个验证门控策略能显著改善，值得做AI编程工具的人看看。

6月16日

11:55

11:55

官方一手arXiv: DeepSeek@Zaifu Zhan, Shuang Zhou, Rui Zhang

提出一种多智能体互审推理方法，让多个LLM独立生成链式推理与候选答案，再互相评审事实正确性与逻辑合理性，选择最高分推理链输出最终答案。在Llama-3.1-8B、Qwen2.5-7B、Phi-4、DeepSeek-LLM-7B、GPT-oss-20B五个模型上对HeadQA、MedQA-USMLE、PubMedQA三个基准测试，平均准确率达0.820，超过单模型最佳0.777和多数投票集成最高0.789。评审可靠性高，能有效区分优质与低质推理链。

论文 Llama-3.1-8B Qwen2.5-7B Phi-4 DeepSeek-LLM-7B 多智能体推理模型

推荐理由：这篇论文让多个AI模型互相评审对方的思考过程，医学问答准确率比单模型高5个百分点，比投票集成也高3个百分点，有意思。

5月18日

10:31

10:31

官方账号arXiv cs.LG@Gabriel Garcia

精选

这篇论文发现，判断Transformer层是否“等价”时，常用的替换测试和交换测试会给出截然不同的结论。替换测试看一层能否替代另一层的位置，交换测试看两层互换后输出是否近似。在Pythia、Qwen3-8B和Llama-3.1-8B等模型上，两种测试的差距从训练初期到收敛逐渐扩大。例如Qwen3-8B在8B规模下，交换测试指导的剪枝比替换测试安全数倍，而Llama-3.1-8B两种测试的剪枝成本却相近。这意味着研究者不能只依赖单一指标判断层冗余，否则可能误判哪些层可以安全剪枝或合并。

论文模型压缩层等价性剪枝 Qwen3-8B Llama-3.1-8B

推荐理由：做模型压缩或剪枝的团队，如果只用一种等价性测试就决定删层，可能会踩坑——这篇论文用Qwen3-8B和Llama-3.1-8B的对比告诉你，测试方法选错，安全剪枝的层数能差好几倍。建议在剪枝前先跑一下两种swap-KL诊断。