#形式推导

用形式推导预训练，能在语言任务上少花36B token达标，剪枝33%还不掉点。做预训练或模型压缩的可以看看。