精选理由
字节跳动发了新模型iLLaDA,8B参数用扩散方式生成文本,基础性能不输Qwen2.5,微调后稍弱,适合想了解非自回归路线的读者。
iLLaDA是ByteDance和中国人民大学联合发布的8B参数扩散语言模型,采用与ChatGPT不同的文本生成方式。在基础性能评估中,iLLaDA的基准水平与Qwen2.5持平,但经过微调后表现落后。该模型展示了扩散方法在语言建模中的潜力,但优化后仍需改进。
AI 翻译 · 中文
iLLaDA是ByteDance和中国人民大学联合发布的8B参数扩散语言模型,采用与ChatGPT不同的文本生成方式。在基础性能评估中,iLLaDA的基准水平与Qwen2.5持平,但经过微调后表现落后。该模型展示了扩散方法在语言建模中的潜力,但优化后仍需改进。
Researchers from Renmin University and ByteDance have released iLLaDA, an 8B language model that generates text differently than ChatGPT. It matches Qwen2.5 at the base level but falls behind after fine-tuning. The artic…