多模态模型相关 AI 资讯

5月21日

07:59

DeepLearning.AI@DeepLearningAI

DeepLearningAI 在 X 平台发起一项投票，测试当前 AI 图像模型能否正确识别图片中的两种健身器材。该投票旨在引发对多模态推理模型能力的讨论，并推广其“AI Prompting for Everyone”课程。目前投票选项包括“能”、“不能”和“可能”，已有 682 次浏览和 5 次投票。这反映了业界对 AI 视觉理解真实世界物体能力的持续关注。

AI模型多模态模型图像识别推理模型

推荐理由：想了解多模态模型在真实场景中的识别能力？这个投票让你快速感知 AI 的视觉推理边界，做 AI 应用开发的可以参与讨论并学习提示技巧。

原文

07:59

Google Gemini App@GeminiApp

72°

在 Google I/O 大会上，Gemini 宣布了一系列重大更新，包括对 Gemini 体验的完全重新设计，引入 Neural Expressive 技术。Gemini 将推出智能体功能，如 Daily Brief 和 Gemini Spark，提供更主动的助手体验。同时发布了 Gemini Omni 和 3.5 Flash 模型，性能与效率进一步提升。这些更新标志着 Gemini 从单一对话助手向多模态智能体平台的转型。

AI产品 Gemini Google I/O 智能体

推荐理由：Google 把 Gemini 从对话助手升级为智能体平台，做 AI 应用开发或日常重度使用的团队值得关注——Daily Brief 和 Spark 这类主动服务可能改变人机交互方式。

原文

00:14

rohanpaul_ai@rohanpaul_ai

76°

中国 AI 实验室商汤开源了 SenseNova U1，这是一个统一的多模态模型，能在单一模型中理解、推理并生成图像和文本。其架构去除了传统的视觉编码器和变分自编码器，在共享表示空间中处理图像和语言，减少了模块间切换和信息损失，提升了生成一致性。该模型在生成信息图、指南、海报、漫画等密集视觉内容时表现出色，据客户基准测试，生成信息图的速度约为 Qwen-Image-2.0 / Seedream-4.5 的两倍，且质量相当。

AI模型商汤 SenseNova U1 多模态模型

推荐理由：商汤的架构创新解决了多模态模型常见的模块间信息丢失问题，做视觉内容生成或信息图设计的团队可以直接用这个开源模型，生成效率翻倍值得一试。

原文

5月20日

14:27

rohanpaul_ai@rohanpaul_ai

76°

中国AI实验室商汤科技在HuggingFace上发布了SenseNova U1模型，采用原生多模态建模和MoT架构（38B激活3B MoE）。该模型将多模态生成视为一个统一的建模问题，而非分离的视觉、语言和图像模块链，从而减少了模块间的信息损失，提升了生成内容的一致性。SenseNova U1特别擅长生成可读、结构化、一致的图文输出，如信息图、指南、海报、漫画等。它支持ComfyUI，推理速度快（A3B），为密集视觉内容创作提供了高效工具。

AI模型 SenseNova U1 多模态模型 MoT架构

推荐理由：SenseNova U1解决了多模态生成中模块切换导致的信息丢失问题，做信息图、海报、漫画等密集视觉内容的创作者可以直接用ComfyUI体验，效果惊艳。

原文

09:52

shao__meng@shao__meng

83°

Google 在 I/O 大会上发布了 Gemini Omni，这是一个原生多模态的「理解+生成」模型，主攻视频领域。与 Veo、Sora 等传统视频生成模型不同，Omni 从底层设计为多模态，支持任意组合输入（图、文、视频、音频）产出或编辑视频。其核心差异化能力包括对话式视频编辑（多轮修改保持一致性）、结合世界知识与物理直觉的生成，以及任意参考物组合。Omni 在编辑方式、提示词要求和知识运用上全面超越现有模型，标志着视频生成进入新阶段。

AI产品 Gemini Omni 多模态模型视频生成

推荐理由：做视频创作或 AI 内容生成的团队，终于有了一个能像聊天一样改视频的工具——多轮编辑保持一致性，不用每次重写 prompt，建议直接看官方对比。

原文

08:18

berryxia@berryxia

76°

Google 发布 Gemini Omni，一种不仅能生成逼真视频，还能基于物理直觉和知识推理场景后续发展的 AI 模型。它将物理直观与历史、科学、文化背景知识结合，使生成内容更符合现实逻辑。该模型即日起面向全球 Google AI Plus、Pro 和 Ultra 订阅用户推出，首批支持视频输出。这一进展标志着视频生成从单纯视觉真实迈向因果推理的新阶段。

AI模型 Gemini Omni 视频生成物理推理

推荐理由：做视频生成或物理模拟的开发者值得关注——Gemini Omni 把常识推理带进视频生成，让 AI 不再只是“画得好”，而是“想得对”。

原文

01:31

01:31IT之家（博客/媒体）

76°

在 2026 年谷歌 I/O 大会上，谷歌正式发布 Gemini Omni 模型，宣称能“从任何输入生成任何输出”，支持对话式编辑，用户可通过一句话改变视频中的角色、背景等元素。首款模型 Gemini Omni Flash 即日起在 Gemini App、Google Flow、YouTube Shorts 可用，未来将推出 API 服务。该模型标志着多模态 AI 进入更灵活、更直观的交互阶段，降低了视频编辑门槛。

AI产品谷歌 Gemini Omni 多模态模型

推荐理由：视频创作者和内容运营团队终于可以像聊天一样改视频了——Gemini Omni 让一句话替换背景、角色成为现实，建议做短视频或后期的人直接体验。

原文

5月19日

14:35

官方账号arXiv cs.AI@Fengyi Fu, Mengqi Huang, Shaojin Wu, Yunsheng Jiang, Yufei Huo, Hao Li, Yinghang Song, Fei Ding, Jianzhu Guo, Qian He, Zheren Fu, Zhendong Mao, Yongdong Zhang

精选72°

Lance 是一个轻量级原生统一模型，支持图像和视频的多模态理解、生成与编辑。它不依赖模型规模扩展或文本-图像主导设计，而是通过协作式多任务训练探索统一多模态建模的实用范式。核心包括统一上下文建模和解耦能力路径，采用双流混合专家架构在共享交错多模态序列上联合学习，同时分离理解与生成路径。实验表明，Lance 在图像和视频生成上显著优于现有开源统一模型，同时保持强多模态理解能力。

论文多模态模型统一模型生成与理解

推荐理由：Lance 用轻量级架构实现了多模态理解与生成的统一，做多模态研究的开发者可以直接参考其双流 MoE 设计，值得关注。

原文

5月18日

12:09

官方账号arXiv cs.AI@Yishun Lu, Wes Armour

精选

多模态自回归模型在图像生成和文本理解联合训练时，存在模态竞争导致优化不稳定、大batch训练受限的问题。研究发现AdamW等一阶优化器对跨模态梯度异质性敏感，而二阶预条件方法（如SOAP）能提供更稳定的对齐基础。作者提出ML-FOP-SOAP框架，通过Fisher正交投影抑制方差引起的模态冲突，并引入分层折叠策略降低计算开销。在Janus和Emu3模型上，该方法在batch size 8192下训练稳定，样本效率提升1.4倍，训练速度提升1.5倍。

论文多模态模型优化器二阶优化

推荐理由：多模态模型训练中模态竞争是常见痛点，做多模态预训练或大batch训练的团队可以直接参考这个二阶优化方案，能显著提升训练效率和稳定性。

原文

5月16日

22:36

向阳乔木@vista8

豆包大模型家族首款全模态理解模型 Doubao-Seed-2.0-lite 0428 开始内测，新增音频理解能力，支持图片、视频、音频、文本四种输入。该模型在 Agent、Coding、GUI 能力上也有明显提升。测试案例包括前端动效复刻、视频 Hooks 建议、字幕识别等。目前第三方 AI Chat 客户端普遍不支持音视频上传解析，限制了该模型的应用。

AI模型豆包 Doubao-Seed-2.0-lite 全模态理解

推荐理由：豆包终于补齐了音频理解短板，做多模态应用的开发者可以直接拿 API 测试前端动效复刻、视频分析等场景，比之前只能处理文本和图片强太多。

原文

5月14日

18:37

18:37IT之家（博客/媒体）

在联发科天玑开发者大会（MDDC 2026）上，OPPO推出了行业首个端侧AIGC光影处理引擎，基于自研DiT架构生成式大模型，用户无需联网即可在手机本地优化暗光、逆光等复杂光线下的照片，效果接近云端模型水平。同时，OPPO还展示了基于天玑9500芯片的端侧AI翻译技术，出词速率达每秒300个token，以及业界首个端侧全模态Omni模型，支持视频、语音、文本三种输入。此外，手机超级助手“小布Claw”能基于本地数据提供个性化建议，所有敏感能力需用户授权，确保数据不出设备。这些技术标志着端侧AI在影像、翻译和多模态交互上的重要突破。

AI产品 OPPO 端侧AI AIGC光影处理

推荐理由：OPPO把专业级AI调色能力塞进手机本地，摄影爱好者不用联网也能拯救逆光废片，建议喜欢手机拍照的试试这个功能。

原文

13:37

官方账号百川智能 Baichuan@BaichuanAI

百川智能发布了Baichuan-Omni-1.5模型，在视觉、语音和多模态流处理方面超越了GPT-4o mini。该模型在多模态医疗应用领域表现尤为突出，显示出更强的专业能力。这一进展表明国产多模态模型在特定垂直领域已具备国际竞争力。

AI模型百川智能多模态模型 GPT-4o mini

推荐理由：多模态模型在医疗场景的突破值得关注，做AI医疗应用或跨模态处理的团队可以看看百川的进展，对比GPT-4o mini的性价比可能更高。

原文

5月12日

19:11

官方账号arXiv cs.AI@Haozhe Zhang, Kaichen Liu, Miaomiao Chen, Lei Li, Shaojie Yang, Cheng Peng, Hanjie Chen

研究者推出BenchCAD，一个统一的基准测试，用于评估多模态大语言模型在工业CAD代码生成上的能力。该基准包含17,900个可执行的CadQuery程序，涵盖106个工业零件系列，如锥齿轮、压缩弹簧和麻花钻。通过视觉问答、图像到代码生成等任务，BenchCAD测试模型在感知、参数抽象和可执行程序合成方面的综合能力。实验显示，当前前沿模型能恢复大致几何形状，但在精确参数和工业设计操作上常失败，如用简单拉伸替代扫掠、放样等关键操作。

论文代码生成多模态模型 CAD/设计

推荐理由：该基准揭示了现有模型在工业级CAD生成上的显著不足，为模型优化和工业自动化提供了明确的评估标准。

原文