OmniVerifier-M1：符号化元验证提升多模态模型可靠性
做多模态模型评估或安全部署的团队，可以关注这种符号化元验证思路——它用边界框替代文本解释做奖励信号，既高效又避免依赖辅助模型，直接提升验证的细粒度与可解释性。
#多模态模型
共 62 条 · 7 天 0 条 · 30 天 2 条
5月28日
5月27日
腾讯Chronicles-OCR基准测试：AI识别3000年中国古文字全军覆没
这个基准测试戳破了多模态模型在古文字识别上的泡沫——它们根本没在认字，只是认载体。做文化遗产数字化或OCR研究的团队，看完会重新思考模型能力的边界。
5月26日
产品15:16
网易有道开源多模态与TTS模型，转向AI Agent基建网易有道从教育垂直模型转向AI Agent基建，开源的多模态和TTS模型让做Agent开发的团队可以直接用消费级GPU跑，值得关注其生态进展。
5月24日
5月22日
网易有道“子曰 4”多模态与 TTS 模型全量开源
教育场景的开发者终于有了可商用的开源多模态模型——27B 参数在数理问题上达到 SOTA，且推理成本更低；TTS 模型 3 秒克隆音色并跨语种带情感，做语音助手或教育产品的团队可以直接下载试试。
IT之家原文
HiDream AI 发布 200B+ 参数统一多模态模型 HiDream-O1-Image-Pro，并获新融资
200B+ 参数的统一多模态模型意味着更强的跨模态理解和生成能力，做多模态 AI 应用或研究的团队值得关注其技术细节和后续开源动态。
字节跳动开源轻量多模态模型Lance，3B参数统一理解与生成
Lance用3B参数实现了多模态理解与生成的统一，解决了传统方案模块拼接效率低、能力割裂的问题。做多模态AI研究或应用开发的团队可以直接下载权重试试，尤其适合资源有限但想探索统一模型的场景。
IT之家原文
5月21日
Google I/O：Demis Hassabis 发布 Gemini Omni，全能输入输出 AI 模型
Gemini Omni 把多模态 AI 的边界推到了“任意输入→任意输出”，做内容创作、产品设计或人机交互的团队值得关注——这可能是下一代 AI 应用的基础设施。
模型07:59
DeepLearningAI 发起 AI 图像识别健身器材投票想了解多模态模型在真实场景中的识别能力？这个投票让你快速感知 AI 的视觉推理边界，做 AI 应用开发的可以参与讨论并学习提示技巧。
Google I/O 发布 Gemini 重大更新：全新设计、智能体体验与 Omni/3.5 Flash 模型
Google 把 Gemini 从对话助手升级为智能体平台，做 AI 应用开发或日常重度使用的团队值得关注——Daily Brief 和 Spark 这类主动服务可能改变人机交互方式。
商汤开源 SenseNova U1：统一多模态模型，图像文本一体化生成
商汤的架构创新解决了多模态模型常见的模块间信息丢失问题，做视觉内容生成或信息图设计的团队可以直接用这个开源模型，生成效率翻倍值得一试。
5月20日
中国AI实验室SenseNova U1发布：原生多模态建模，38B激活3B MoE
SenseNova U1解决了多模态生成中模块切换导致的信息丢失问题，做信息图、海报、漫画等密集视觉内容的创作者可以直接用ComfyUI体验，效果惊艳。
Google 发布 Gemini Omni：原生多模态视频理解与生成模型
做视频创作或 AI 内容生成的团队，终于有了一个能像聊天一样改视频的工具——多轮编辑保持一致性，不用每次重写 prompt，建议直接看官方对比。
谷歌发布 Gemini Omni 模型：一句话即可修改视频
视频创作者和内容运营团队终于可以像聊天一样改视频了——Gemini Omni 让一句话替换背景、角色成为现实，建议做短视频或后期的人直接体验。
IT之家原文
5月19日
5月18日
5月16日
Doubao-Seed-2.0-lite 0428 内测：豆包首款全模态理解模型
豆包终于补齐了音频理解短板，做多模态应用的开发者可以直接拿 API 测试前端动效复刻、视频分析等场景，比之前只能处理文本和图片强太多。
5月14日
产品18:37
OPPO发布行业首个端侧AIGC光影处理引擎，不联网也能AI调色OPPO把专业级AI调色能力塞进手机本地，摄影爱好者不用联网也能拯救逆光废片，建议喜欢手机拍照的试试这个功能。
IT之家原文
5月12日