Qwen2.5-7B 相关 AI 资讯 · AI 热点

7月1日

09:23

09:23

官方一手arXiv: DeepSeek@Gaurab Baral, Aaditya Khanal, Yangyang Tao, Junxiu Zhou

精选

该论文研究从大型推理模型DeepSeek-R1蒸馏知识到紧凑学生模型Qwen2.5-7B。使用2011-2025年约翰·奥布莱恩数学竞赛问题构建CoT训练语料，通过LoRA在Apple Silicon上微调。基础Qwen2.5-7B准确率64.67%，教师DeepSeek-R1达91.40%。五次独立微调后学生模型平均准确率69.43%（标准差0.17%），比基础模型提升4.76个百分点，并在MATH-500上泛化至73.1%（标准差0.18%）。研究还发现回答长度从平均220词降至31.2词时，准确率从69.43%降至41.9%。

论文 DeepSeek-R1 Qwen2.5-7B 知识蒸馏数学推理 CoT

推荐理由：这篇论文告诉你：把DeepSeek-R1的推理能力蒸馏到小模型Qwen2.5-7B上，MATH-500能到73%，但回答越短准确率掉得越快。

6月19日

09:53

09:53

官方账号arXiv cs.LG@Ali Asaria, Tony Salomone, Deep Gandhi

论文使用Qwen2.5-7B-Instruct对比了零样本、仅SFT、仅RAG和SFT+RAG混合四种方法在安大略住宅租赁法条文引用上的效果。混合方法以0.481精确匹配（节+条）取得最高分，且将幻觉降至零。SFT提升了高召回候选集中条款选择的鲁棒性，而仅用bge-small嵌入就超越了更大专用检索模型。扩大训练集未带来提升，0.70目标尚未达到。

论文 Qwen2.5-7B RAG SFT 零幻觉法律引用

推荐理由：这篇论文用Qwen2.5-7B做了个四路对比，发现微调加检索混合方案在法条引用上精确匹配0.481还零幻觉，比纯微调或纯检索都强，而且用轻量bge-small就够用。

6月16日

11:55

11:55

官方一手arXiv: DeepSeek@Zaifu Zhan, Shuang Zhou, Rui Zhang

提出一种多智能体互审推理方法，让多个LLM独立生成链式推理与候选答案，再互相评审事实正确性与逻辑合理性，选择最高分推理链输出最终答案。在Llama-3.1-8B、Qwen2.5-7B、Phi-4、DeepSeek-LLM-7B、GPT-oss-20B五个模型上对HeadQA、MedQA-USMLE、PubMedQA三个基准测试，平均准确率达0.820，超过单模型最佳0.777和多数投票集成最高0.789。评审可靠性高，能有效区分优质与低质推理链。

论文 Llama-3.1-8B Qwen2.5-7B Phi-4 DeepSeek-LLM-7B 多智能体推理模型

推荐理由：这篇论文让多个AI模型互相评审对方的思考过程，医学问答准确率比单模型高5个百分点，比投票集成也高3个百分点，有意思。