09:12
官方账号arXiv cs.LG@Shrestha Datta, Hongfu Liu, Anshuman Chhabra
推荐理由：这篇论文提出了WAG方法，能精准定位LLM中那些一旦改动就会崩掉的关键参数，比传统重要性指标更灵敏，还顺手解决了专家分配、遗忘、量化等实际问题。
参数重要性
共 1 条相关 AI 资讯
7月14日
09:12
论文提出Weight-Adjusted Gradients方法，通过捕获权重与一阶梯度的交互来估计参数重要性。在GPT-2、Llama-2等模型上，WAG发现仅占0.3%的关键参数，修改它们会导致性能下降超过40%，而现有幅度剪枝准则遗漏了这一失效模式。该方法在混合专家模型分配、参数级遗忘、混合精度量化和知识编辑层选择等四类应用中展示了有效性。实验表明WAG统一了零阶与一阶信息，为分析、调试和控制LLM提供了新工具。