#激活转向

2 stories · 1 in 7 days · 1 in 30 days

AIME 1 INT8 1 LLM 1 NF4 1 OPSD 1 推理模型 1 蒸馏 1 量化 1

Stories, products and papers tagged "激活转向", newest first.

Oct 27

Papers Builders09:20

Chinese contentST-OPSD：用激活转向修复思维模型自蒸馏中的教师缺陷

自蒸馏训练推理模型会让学生学会瞎编参考、不敢回头检查，这篇用激活转向治好了这两个毛病，AIME、HMMT 上准确率也涨了，做训练的可以看看。

#OPSD #激活转向 #推理模型 #蒸馏

arXiv cs.LG@Tiejin Chen et al. (4)Source

Sep 9

Papers BuildersSelected09:47

Quantized LLMs Activation Steering Study

Developers deploying quantized LLMs can maintain steering effectiveness for sentiment tasks while needing careful calibration for reasoning length control.

#quantization #activation steering #Mistral #GSM8K

arXiv cs.LG@Saurav Bhandari, Benjamin WadeSource