ELSA3D:弹性语义锚定实现统一3D理解与生成

ELSA3D: Elastic Semantic Anchoring for Unified 3D Understanding and Generation

精选理由

ELSA3D用一个弹性锚定机制把3D理解和生成统一了,三个任务都刷了SOTA,还省了一半算力,想做3D的可以看看这篇

AI 摘要

ELSA3D是一种统一3D模型,通过弹性语义锚定将文本和几何推理在匹配的抽象尺度上联合结构化。它使用尺度感知的八叉树分词器表示几何,并引入锚点令牌(Anchor Tokens)实现稀疏但精确的跨模态交互。在图像到3D生成、文本到3D生成和3D描述三项任务上,ELSA3D均取得最先进性能,同时相比其非弹性版本将FLOPs和推理延迟降低约一半。

AI 翻译 · 中文

ELSA3D是一种统一3D模型,通过弹性语义锚定将文本和几何推理在匹配的抽象尺度上联合结构化。它使用尺度感知的八叉树分词器表示几何,并引入锚点令牌(Anchor Tokens)实现稀疏但精确的跨模态交互。在图像到3D生成、文本到3D生成和3D描述三项任务上,ELSA3D均取得最先进性能,同时相比其非弹性版本将FLOPs和推理延迟降低约一半。

arXiv cs.LGUnified 3D foundation models aspire to generate 3D assets and reason about them in language within a single backbone, but their text-3D interaction remains largely implicit. Existing methods concatenate text and 3D token