LangDiT：为连续扩散语言模型重新设计的 Transformer 架构

论文针对连续扩散语言模型（CDLM）大多直接沿用因果 LLM 或图像 DiT 架构的问题，提出专用架构 Language Diffusion Transformer（LangDiT），整合特征与 query-key 归一化、likelihood-shortcut 梯度路由等设计。以 LangFlow 为代表模型时，LangDiT 在 OpenWebText 上 1024 token 无条件生成达到 GenPPL 21.72（1024 NFE）；适配 Plaid 式 CDLM 后 GenPPL 进一步降到 11.33。改进在保留原模型训练目标与推理采样器的前提下取得，将架构本身确立为性能提升的关键来源。