统一模型相关 AI 资讯

7月8日

12:02

官方账号arXiv cs.LG@Tianjiao Yu, Xinzhuo Li, Yifan Shen, Onkar Susladkar, Yuanzhe Liu, Xiaona Zhou, Ismini Lourentzou

ELSA3D是一种统一3D模型，通过弹性语义锚定将文本和几何推理在匹配的抽象尺度上联合结构化。它使用尺度感知的八叉树分词器表示几何，并引入锚点令牌（Anchor Tokens）实现稀疏但精确的跨模态交互。在图像到3D生成、文本到3D生成和3D描述三项任务上，ELSA3D均取得最先进性能，同时相比其非弹性版本将FLOPs和推理延迟降低约一半。

论文 ELSA3D 3D生成多模态

推荐理由：ELSA3D用一个弹性锚定机制把3D理解和生成统一了，三个任务都刷了SOTA，还省了一半算力，想做3D的可以看看这篇

原文

6月1日

10:29

官方账号arXiv cs.AI@Jiazheng Xing, Hangjie Yuan, Lingling Cai, Xinyu Liu, Yujie Wei, Fei Du, Hai Ci, Tao Feng, Jiasheng Tang, Weihua Chen, Fan Wang, Yong Liu

Lumos-Nexus 是一种训练高效的统一视频生成框架，解决了将高保真生成器集成到统一训练循环中计算成本过高的问题。它采用两阶段设计：训练时仅用轻量级生成器与理解模块对齐，学习推理驱动的语义控制；推理时通过统一渐进频率桥接（UPFB）在共享潜在空间中将生成任务逐步交给高容量预训练生成器，实现从粗到细的优化，生成高保真视频而不牺牲推理质量。为填补推理驱动视频生成基准的空白，团队引入了 VR-Bench 评估模型将推断意图转化为连贯视频的能力。实验表明，Lumos-Nexus 在 VBench 上显著提升了视觉真实感和时间连贯性，在 VR-Bench 上展示了强大的推理生成性能。代码和模型已开源。

论文视频生成统一模型推理驱动

推荐理由：视频生成领域终于有了兼顾推理能力和视觉保真度的方案，做视频理解与生成统一模型的团队可以直接参考其两阶段设计，省去大量训练成本。

原文

5月22日

13:58

13:58IT之家（博客/媒体）

精选83°

字节跳动开源了名为Lance的多模态AI模型，激活参数量仅3B，却能原生统一处理图像理解、视频理解、图像生成、视频生成和跨模态编辑等任务。与常见将理解与生成拆分为多个模块的方案不同，Lance从训练起就采用共享上下文与能力解耦的双流专家架构，兼顾高层语义特征与低层连续表示。在多项基准测试中，Lance在图像生成、视频生成、图像编辑和视频理解上均取得领先成绩，例如GenEval总分0.90、VBench总分85.11。模型采用Apache 2.0许可开源，权重已在Hugging Face提供，推理需至少40GB显存。

AI模型多模态模型开源/仓库字节跳动

推荐理由：Lance用3B参数实现了多模态理解与生成的统一，解决了传统方案模块拼接效率低、能力割裂的问题。做多模态AI研究或应用开发的团队可以直接下载权重试试，尤其适合资源有限但想探索统一模型的场景。

原文

5月19日

14:35

官方账号arXiv cs.AI@Fengyi Fu, Mengqi Huang, Shaojin Wu, Yunsheng Jiang, Yufei Huo, Hao Li, Yinghang Song, Fei Ding, Jianzhu Guo, Qian He, Zheren Fu, Zhendong Mao, Yongdong Zhang

精选72°

Lance 是一个轻量级原生统一模型，支持图像和视频的多模态理解、生成与编辑。它不依赖模型规模扩展或文本-图像主导设计，而是通过协作式多任务训练探索统一多模态建模的实用范式。核心包括统一上下文建模和解耦能力路径，采用双流混合专家架构在共享交错多模态序列上联合学习，同时分离理解与生成路径。实验表明，Lance 在图像和视频生成上显著优于现有开源统一模型，同时保持强多模态理解能力。

论文多模态模型统一模型生成与理解

推荐理由：Lance 用轻量级架构实现了多模态理解与生成的统一，做多模态研究的开发者可以直接参考其双流 MoE 设计，值得关注。

原文

5月15日

11:00

官方账号arXiv cs.AI@Yi Zhang, Yinda Chen, Che Liu, Zeyuan Ding, Jin Xu, Shilong Zou, Junwei Liao, Jiayu Hu, Xiancong Ren, Xiaopeng Zhang, Yechi Liu, Haoyuan Shi, Zecong Tang, Haosong Sun, Renwen Cui, Kuishu Wu, Wenhai Liu, Yang Xu, Yingji Zhang, Yidong Wang, Senkang Hu, Jinpeng Lu, Nga Teng Chan, Yechen Wu, Yong Dai, Jian Tang, Xiaozhu Ju

精选

Pelican-Unified 1.0 是首个按照统一原则训练的具身基础模型，将场景理解、指令推理、未来想象和动作执行整合到单一模型中。它使用一个视觉语言模型（VLM）作为统一的理解和推理模块，并通过统一未来生成器（UFG）同时生成未来视频和动作。实验表明，统一并未牺牲性能：在八个VLM基准上平均得分64.7，在WorldArena上排名第一（66.03），在RoboTwin上达到93.5（动作方法中第二好）。该工作展示了统一范式在保持专家级性能的同时，将多种能力融合到一个模型中的可行性。

论文具身智能统一模型 VLM

推荐理由：具身智能研究者终于有了一个统一框架——Pelican-Unified 1.0 用一个模型搞定理解、推理、想象和行动，不再需要拼凑三个独立系统。做机器人、仿真或多模态模型的团队值得关注，它证明了统一不意味着妥协。

原文

5月13日

20:25