FLUX3D:扩散对齐稀疏表示实现高保真3D高斯生成

FLUX3D: High-Fidelity 3D Gaussian Generation with Diffusion-Aligned Sparse Representation

精选理由

想从单张图生成高质量3D模型?FLUX3D用扩散对齐稀疏表示解决了细节丢失问题,效果比现有方法好一截,值得搞3D生成的看看。

AI 摘要

FLUX3D 提出了一种从单张图像生成高保真 3D 高斯泼溅(3DGS)的新方法。它通过设计 Diffusion-Aligned Structured Latents (DA-SLAT) 改进稀疏体素表示,并用 Sparse-structure Multimodal Diffusion Transformer (SMDiT) 和 Modal-Aware Rotary Positional Embedding (MARoPE) 解决二维图像令牌与三维体素潜在的对齐问题。在多个基准测试中,FLUX3D 在外观保真度上显著优于现有最先进方法,生成的 3DGS 资产质量更高。

AI 翻译 · 中文

FLUX3D 提出了一种从单张图像生成高保真 3D 高斯泼溅(3DGS)的新方法。它通过设计 Diffusion-Aligned Structured Latents (DA-SLAT) 改进稀疏体素表示,并用 Sparse-structure Multimodal Diffusion Transformer (SMDiT) 和 Modal-Aware Rotary Positional Embedding (MARoPE) 解决二维图像令牌与三维体素潜在的对齐问题。在多个基准测试中,FLUX3D 在外观保真度上显著优于现有最先进方法,生成的 3DGS 资产质量更高。

arXiv cs.AISparse voxel representation has emerged as a scalable foundation for image-to-3D Gaussian Splatting (3DGS) generation, yet current methods struggle to preserve high-frequency visual details of input images due to two str