Llama-3 相关 AI 资讯 · AI 热点

7月2日

12:13

12:13

官方账号arXiv cs.LG@Xun Dong, Yibo Xu, Naigang Wang, Xin Li, Penghang Yin, Zi Yang

ZO-Act提出一种激活感知的零阶微调方法，通过一次性计算输入激活基，将扰动限制在固定低秩子空间中，从而将有效扰动维度降低至系数矩阵大小。该方法在Llama-3-8B、OPT-13B和INT4 Llama-3-8B上实验，在语言理解、问答和常识推理任务中一致超越现有零阶微调基线。分析表明，ZO-Act通过低维系数扰动减少了方差依赖项和有限差分误差，并利用LLM激活和梯度的低秩结构控制子空间近似偏差。

AI模型 ZO-Act Llama-3 OPT-13B 微调零阶优化

推荐理由：ZO-Act用激活信息锁定关键子空间，让零阶微调更稳定，在Llama-3和OPT-13B上都比旧方法强，适合显存受限的场景。

7月1日

09:26

09:26

官方一手arXiv: DeepSeek@Mohammad Alijanpour Shalmani, Alale Rezvani Boroujeni, Jiann Shiun Yuan

一项研究分析了六种开源模型家族（DeepSeek-R1、Gemma-2、Llama-3、Mistral、Phi-3、Qwen-2.5）在任务导向对话中面对数据库调用失败时的表现。基于MultiWOZ 2.2（5领域）和SGD（20领域）构建的故障注入基准显示，朴素智能体在30.5%（MultiWOZ）和20.9%（SGD）的失败轮次中产生幻觉。提出的Guided-Retry策略无需重新训练即可将MultiWOZ上的幻觉率从30.5%降至15.3%（降低50%），SGD上从20.9%降至12.2%（降低42%）。但各模型残差幻觉仍达6-37%，跨域失败最难处理。

论文 DeepSeek-R1 Gemma-2 Llama-3 Mistral Phi-3 Qwen-2.5 MultiWOZ SGD 对话系统推理模型

推荐理由：论文用实际数据告诉你，数据库出错时LLM会瞎编内容，但加个简单提示就能把幻觉砍掉一半。不用重训模型，看各家的差距有多大。