11:08
官方账号arXiv cs.AI@Tong Ling, Hang Lei, Feng Xiao, Changhui Sun, Jiahang Xie, Hao Liu, Lu Liu, Yanlong Du
推荐理由：掩码扩散模型的位置编码一直照搬自回归那套，MDLMPE 第一个把遮盖状态算进去，在 LLaDA 和 DREAM 上效果更好。
DREAM
共 1 条相关 AI 资讯
8月5日
11:08
MDLMPE 将掩码扩散模型中 token 的可见/掩码状态编码为二进制序列，结合高斯权重与余弦基投影生成位置特征，再经轻量 MLP 映射为角度偏移来调制 RoPE 相位。在 LLaDA 和 DREAM 上的实验覆盖监督微调、预训练、零样本评测和块扩散设置，整体优于传统位置编码。消融实验表明，可用性状态、高斯局部性、频谱基与嵌入注入的组合效果最强。