多模态相关 AI 资讯

7月11日

05:16

Paul Couvert@itsPaulAi

过去72小时内，OpenAI发布了GPT-5.6，SpaceXAI推出了Grok 4.5，Muse发布了Spark 1.1，Meta推出了Muse图像/视频模型，OpenAI还发布了GPT-Live，Mistral推出了Robostral Navigate。这6款新模型/产品覆盖语言、图像、导航等多个方向。

推荐理由：这两天AI圈太热闹了，OpenAI、SpaceXAI、Meta一口气发了6个新模型，包括GPT-5.6和Grok 4.5，值得一看。

原文

7月10日

22:55

Dify@dify_ai

Dify 宣布支持 OpenAI GPT-5.6 模型，能处理多模态输入、精准结构化输出和实时流式响应。Dify 的 OpenAI 插件从 Chat Completions 切换至新的 Responses API，统一消息、推理、工具调用和执行结果为单一流。这一升级旨在降低复杂 Agent 工作流中的错误率，提升生产级应用的稳定性。

AI产品 GPT-5.6 Dify OpenAI 多模态智能体

推荐理由：Dify 刚上了 GPT-5.6，还把插件换成 Responses API，跑复杂 Agent 更稳了，赶紧更新用起来。

原文

17:05

AI Will@FinanceYF5

Deedy汇总今日AI新闻：GPT-5.6 Sol和Sol Ultra明日发布，早期评价不如Fable但积极；Grok 4.5发布，声称达到Opus 4.7质量、80tps速度、$2/M输入$6/M输出定价；字节跳动Seedream 5 Pro发布，图像生成能力接近GPT Image 2，成本低至$0.045-$0.09/张，擅长编辑和信息图，远超Meta Muse Image；GPT-Live推出全双工非轮次语音模型，允许说话时无缝交互。

AI模型 GPT-5.6 Grok 4.5 Seedream 5 Pro GPT-Live 多模态

推荐理由：今天AI圈炸了，一口气四个新模型/产品：GPT-5.6、Grok 4.5、Seedream 5 Pro、GPT-Live语音，每个都有具体数字和对比，值得快速了解。

原文

09:45

官方一手arXiv: DeepSeek@Zheng Yu

本论文在16设备华为Ascend 910系统上使用CANN和vLLM-Ascend部署了两个大模型推理负载：基于W8A8 MoE模型DeepSeek-V4-Flash的LLM-as-a-judge安全对齐评估流水线，以及基于DeepSeek-V4-Flash-Vision的多模态医学视觉基准测试（MMMU和MMMU-Pro）。为保证运行可靠性，需要12个源码级补丁，并关闭多个高吞吐特性以维持数值正确性。论文总结了8类平台限制：不完整算子支持、脆弱并行、低阶内核数值错误、图编译不成熟、不稳定高级特性、可扩展性差、可观测性弱和生态碎片化。同时量化了集成工作量、并发行为和基准质量，验证了负载的正确性。

论文 Huawei Ascend DeepSeek-V4-Flash LLM-as-a-judge MoE 多模态

推荐理由：这篇论文实测了华为昇腾跑MoE和多模态大模型的工程代价——需要打12个补丁、关掉一堆特性才能不出错，想用非GPU加速器的团队先看看这个。

原文

09:42

官方一手arXiv: OpenAI@Feng Wang, Canmiao Fu, Zhipeng Huang, Chen Li, Jing Lyu, Ge Li

该论文提出 Cognitive-structured Multimodal Agent (CMA)，通过外化视觉信息至 Episodic Visual Memory 并在推理时选择性激活相关片段，解决统一多模态模型在长时对话中视觉 token 爆炸和跨轮引用不可靠的问题。CMA 由 Perceptual Abstraction Engine、Cognitive Retrieval Engine 和 Multimodal Executive Controller 组成。利用 Unified Scenario Engine 生成带细粒度检索标注的结构化多轮对话，并通过强化学习优化策略。在自主构建的长程视觉对话基准上，8B 参数的 CMA 在 20 轮会话中达到 91.4% 检索准确率，比 32B 基线高 8.2%，每轮推理时间从 23.1 秒降至 12.7 秒。

AI模型 Cognitive-structured Multimodal Agent Episodic Visual Memory 多模态智能体 8B

推荐理由：他们搞了个带记忆的 8B 多模态智能体，20 轮对话检索准确率 91.4%，比 32B 模型还快一半。代码和 demo 都开源了，值得看。

原文

09:30

官方账号arXiv cs.AI@Weiduo Liao, Yunqiao Yang, Ying Wei

稀疏自编码器(SAE)在机械可解释性中学习稀疏潜在特征，但在视觉-语言模型(VLM)中，香草SAE难以学到跨模态一致的概念。研究者提出结构化稀疏自编码器(S^2AE)，在Qwen2.5-VL-7B-Instruct上评估，语义对齐(mIoU)平均提升6.06%，表征效率(l0范数)降低60.81，重构保真度(解释方差)保持在99%以上。跨模态分析显示S^2AE通过视觉结构先验增强神经元单语义性，语义一致性平均提升3.08%，单语义性得分平均提升2.37%。

论文 S^2AE Qwen2.5-VL 多模态可解释性稀疏编码

推荐理由：这篇论文提的S^2AE让视觉语言模型里稀疏编码的概念更一致，比普通SAE语义对齐涨了6%，还能保持高重建质量。搞多模态可解释性的可以看看。

原文

07:16

官方账号Meta AI@AIatMeta

Meta推出Muse Spark 1.1多模态推理模型，专为智能体任务设计。该模型在工具使用、计算机操作、编码和多模态理解四大能力上均有显著提升。相比前代，Muse Spark 1.1在处理复杂指令和跨模态对齐方面表现更优。

AI模型 Muse Spark 1.1 Meta 多模态推理模型智能体

推荐理由：Meta搞了个Muse Spark 1.1，专门做智能体任务，工具调用和编码更强了，值得关注。

原文

06:31

官方一手marktechpost@Asif Razzaq

72°

Meta Superintelligence Labs于2026年7月9日发布Muse Spark 1.1，并开放Meta Model API公测。该模型拥有100万token上下文窗口，可主动压缩上下文。它支持零样本泛化到新工具和MCP服务器，并具备多智能体委托能力，可并行执行子任务。在工具使用基准上Muse Spark 1.1领先，但在编码任务上落后于Opus 4.8和GPT-5.5。

AI模型 Muse Spark 1.1 Meta 推理模型多模态智能体

推荐理由：Meta新出的多模态推理模型，百万token上下文，工具调用很强，但写代码不如Opus和GPT。

原文

7月9日

23:59

小互@imxiaohu

Meta 发布 Muse 多模态推理模型，专为 agentic 任务设计。在多葛代理评估中，Muse 性能媲美 GPT-5.5 和 Opus-4.8。模型拥有 1M 令牌上下文窗口，并配备主动上下文管理功能，可从早期交互中检索信息、压缩关键步骤。Muse 支持计算机使用，能操作桌面、浏览器和移动设备。

AI模型 Muse Meta 智能体多模态推理模型

推荐理由：Meta 新出的 Muse 在 agent 任务上直追 GPT-5.5，还有 1M 上下文和主动记忆管理，跑长任务再也不怕忘事了。

原文

22:36

官方账号Meta AI@AIatMeta

精选

Muse Spark 1.1 是 Meta 发布的多模态模型，支持视觉和音频输入处理。它在视觉到代码生成、图像/视频描述等任务上表现突出。演示中，模型从手机视频提取照片并推理产品信息，自主操作浏览器在 Facebook Marketplace 上架商品。

AI模型 Muse Spark 1.1 Meta 多模态推理模型智能体

推荐理由：Meta 刚发了 Muse Spark 1.1，能看能听还能帮你操作浏览器上架商品，很实用。

原文

11:31

官方账号Pika Labs@pika_labs

73°

Pika 发布了 Director Suite，一个包含专用应用的创作套件。用户可与 AI 代理协作，生成图像、视频和音乐。该套件内置时间线编辑器，允许在同一个界面中直接编辑生成的内容。Jerrod Lew 发布了完整的教程视频。

AI产品 Pika Director Suite 视频生成多模态智能体

推荐理由：Pika 把视频、图片、音乐生成和剪辑全放到一个 App 里，还能跟 AI 代理一起改时间线，省去来回切换的麻烦。

原文

7月8日

21:37

21:37IT之家（博客/媒体）

73°

字节跳动今日发布多模态图像创作模型 Seedream 5.0 Pro。相比之前版本，该模型在图文匹配、结构合理性、文字渲染与画面美感等基础能力上全面提升。它支持复杂信息可视化，能将数据、概念与密集文字准确转化为专业排版。还支持交互式精准编辑，基于空间位置与区域语义实现点选、圈选、图层分离等可控编辑。目前 Seedream 5.0 Pro 已上线火山方舟体验中心，并即将在豆包、即梦上线。

AI模型 Seedream 5.0 Pro 字节跳动火山方舟多模态图像编辑

推荐理由：字节新出的 Seedream 5.0 Pro 能一键生成复杂信息图，还能像修图一样精准编辑图像，图文匹配和质感都更强了。

原文

19:27

Geek@geekbb

精选

Google 发布了 Gemma 4 技术报告，介绍其最新开放权重多模态模型 Gemma 4（E2B–31B）。报告详细说明了架构设计、效率优化和负责任的 AI 方法。此外还涉及无编码器的 12B 变体、量化感知训练以及多 token 预测（MTP）起草器。

AI模型 Gemma Google 多模态开源模型多token预测

推荐理由：Google 刚公开 Gemma 4 的技术细节，包括 31B 多模态模型和 12B 无编码器版本，还有量化训练和 MTP 新招，搞开源模型的可以看看。

原文

15:19

官方一手marktechpost@Sana Hassan

精选

本教程使用NVIDIA的cosmos-framework，在Colab上构建紧凑的Omnimodal Mixture-of-Transformers模型。该模型共享跨模态注意力，路由文本、视觉、动作各模态到专属专家。通过合成物理世界数据和自回归rollout，模型预测未来潜状态。教程展示了如何用小型版模拟Cosmos 3世界模型的核心能力。

技巧 NVIDIA Cosmos 3 Omnimodal Mixture-of-Transformers 世界模型多模态

推荐理由：NVIDIA发了个Colab友好教程，教你搭简化版Cosmos 3世界模型，用Omnimodal MoT架构实现跨模态预测，比跑全量模型省资源。

原文

13:56

13:56IT之家（博客/媒体）

73°

英伟达于6月发布Audex（Nemotron-Labs-Audex-30B-A3B）统一音频-文本大模型，总参数量30B，激活参数3B。该模型以Nemotron-Cascade-2-30B-A3B为骨干，采用52层混合Mamba-Transformer结构，128个可路由专家。音频编码使用AF-Whisper，语音输出用X-Codec2，非语音音频用X-Codec。文本评测中，Audex在MMLU-Redux上得分86.4（高于骨干86.3），在IMO AnswerBench上81.1（高于79.3），但在MMLU-Pro和GPQA-Diamond上小幅下降。

AI模型 Audex Nemotron 英伟达多模态音频理解

推荐理由：英伟达出了个Audex，30B参数但只激活3B，能听能说还不掉文本能力，MMLU-Redux得分86.4比原来还高一点。

原文

12:02

官方账号arXiv cs.LG@Tianjiao Yu, Xinzhuo Li, Yifan Shen, Onkar Susladkar, Yuanzhe Liu, Xiaona Zhou, Ismini Lourentzou

ELSA3D是一种统一3D模型，通过弹性语义锚定将文本和几何推理在匹配的抽象尺度上联合结构化。它使用尺度感知的八叉树分词器表示几何，并引入锚点令牌（Anchor Tokens）实现稀疏但精确的跨模态交互。在图像到3D生成、文本到3D生成和3D描述三项任务上，ELSA3D均取得最先进性能，同时相比其非弹性版本将FLOPs和推理延迟降低约一半。

论文 ELSA3D 3D生成多模态统一模型八叉树

推荐理由：ELSA3D用一个弹性锚定机制把3D理解和生成统一了，三个任务都刷了SOTA，还省了一半算力，想做3D的可以看看这篇

原文

11:54

官方账号arXiv cs.LG@Ghassen Marrakchi, Basarab Matei

论文提出Large Cancer Assistant（LCA），一个7元组架构的编排框架，基于Algorithmic Impermeability原则，使编排逻辑与底层AI模型解耦。LCA引入Entry Theory，利用Geometric Deep Learning将多模态患者数据标准化为6个轴。系统通过Cancer Switching Module动态路由数据，输出Standardized Intermediate Payload（SIP）隔离医院IT变更。PoC在4个场景验证：名义流程编排开销接近零、AI模型替换时路由投影不变、注入数据异常下Supplementary Data Requests召回率100%、多协议执行成功。

论文 LCA 肿瘤学临床决策支持编排框架多模态

推荐理由：这篇论文讲了一个叫LCA的框架，专门为肿瘤学临床决策支持设计，能灵活组合不同AI模型。测试下来零开销、100%召回率，挺实用的。

原文

11:02

11:02IT之家（博客/媒体）

精选

OpenAI 前研究员田永龙已加入腾讯，或负责混元多模态模型方向。田永龙本科毕业于清华，师从汤晓鸥、王晓刚，在 MIT 获博士学位，引用数达 28,778 次。他曾参与 Supervised Contrastive Learning、Fluid 10.5B 模型等研究。此前 OpenAI 研究员姚顺雨也加入腾讯，混元多模态团队近一年吸纳胡瀚、薄列峰、庞天宇等人才。

行业田永龙腾讯混元 OpenAI 姚顺雨多模态

推荐理由：OpenAI 前研究员的田永龙加入腾讯，将带队搞多模态，之前姚顺雨也去了，混元一直加人，值得关注

原文

10:46

官方一手Pandaily@contact@pandaily.com (Pandaily)

腾讯混元（Tencent HY）从OpenAI挖来研究员田永龙（Tian Yonglong），任命其担任多模态模型负责人。田永龙将直接向腾讯混元首席AI科学家姚顺宇（Yao Shunyu）汇报。此举是腾讯在AI人才争夺战中的最新动作。

行业 Tencent HY OpenAI 田永龙多模态人才竞争

推荐理由：腾讯混元直接从OpenAI挖研究员带队多模态，看来铁了心要在多模态大模型上发力。

原文

10:16

官方一手pandaily@contact@pandaily.com (Pandaily)

腾讯混元聘请OpenAI研究科学家田永龙担任新的多模态模型负责人，直接向首席AI科学家姚顺宇汇报。这是中国科技巨头从OpenAI挖人的最新高调案例，凸显国内大厂对多模态AI人才的竞争。

行业腾讯混元 OpenAI 田永龙多模态人才竞争

推荐理由：腾讯混元从OpenAI挖来田永龙负责多模态，看看国内大厂怎么抢人才的。

原文

08:54

官方一手marktechpost@Asif Razzaq

NVIDIA发布了Nemotron-Labs-Audex-30B-A3B（Audex）模型，这是一个混合专家（MoE）架构，统一了音频理解、语音识别、翻译、文本转语音和音频生成五种能力。该模型以Nemotron-Cascade-2为骨干，仅在音频任务上产生边际的性能回归。Audex在30B总参数中仅有3B活跃参数，高效实现了多模态融合。

AI模型 Audex NVIDIA 多模态音频理解 MoE

推荐理由：NVIDIA发了款新模型Audex，能同时搞定音频理解、语音识别、翻译、TTS和音频生成，而且几乎没牺牲原有文本模型的性能。

原文

06:32

官方账号Meta AI@AIatMeta

76°

Meta推出Muse Image和Muse Video两款媒体生成模型，由Meta Superintelligence Labs开发。Muse Image采用agent工作流，能调用工具、自我精炼，并随测试时计算扩展而改进。它与Muse Spark协作生成多媒体内容。Muse Video基于同一预训练基础，支持原生音频。用户可在Meta AI应用、网页、Instagram Stories和WhatsApp中体验Muse Image，目前限部分国家。

AI模型 Muse Image Muse Video Meta 多模态智能体

推荐理由：Meta把图像生成做成了agent，能调用工具和自我改进，还能和Muse Spark配合做多媒体，挺有意思的。

原文

06:29

官方账号Meta AI@AIatMeta

Meta 在 Meta AI 应用和 meta.ai 中内置 Content Seal 功能，每张生成图像携带隐形出处信号。该水印可通过裁剪、压缩和缩放后仍保持完整。Meta 正预览公开识别工具（meta.ai/identification），用于验证 Meta AI 生成图像的水印。

AI产品 Meta AI Content Seal 水印验证多模态

推荐理由：Meta 给自家 AI 生成的图都打上了隐形水印，裁剪压缩都去不掉，现在还有了验证工具。

原文

06:28

官方账号Meta AI@AIatMeta

73°

Meta Superintelligence Labs发布了Muse Image，这是其最先进的图像生成模型，支持精准指令跟随、多参考合成和agentic工具使用，并集成Muse Spark。同时预览了Muse Video，基于相同预训练基础，具备原生音频支持和出色视觉保真度。Muse Image已在Meta AI应用、Instagram Stories和WhatsApp中有限地区上线。Meta正在投资改进音频-视频同步和物理准确快速运动等性能差距领域。

AI模型 Muse Image Muse Video Meta 视频生成多模态

推荐理由：Meta新出的Muse Image和Muse Video，图像生成能精准按指令做，视频还带原生音频，比之前的模型强不少。

原文

05:21

OpenRouter@OpenRouterAI

精选

OpenRouter 用 1,730 道视觉推理题测试了 5 个模型，检验将图片细节设为“low”的省钱技巧。结果发现该技巧适得其反：模型为看清模糊图像消耗更多推理 token，总体成本不降反升。这一发现提示开发者在使用视觉模型时需谨慎选择图片细节参数。

AI模型 OpenRouter 推理模型多模态成本优化图片细节

推荐理由：想省成本把图设成低清？OpenRouter 测了5个模型1730道题，告诉你这招可能更费钱。

原文

03:59

Notion@NotionHQ

Notion 推出 Agents iOS 应用，可处理语音笔记、照片涂鸦和深夜提问。用户通过语音、图片或文字输入，由多个智能体自动完成整理、回答等任务。该应用将 Notion 的 AI 能力扩展到移动端，实现随身办公。

AI产品 Notion Agents iOS 语音笔记多模态智能体

推荐理由：Notion 出了个 Agents iOS 应用，能自动处理语音笔记、草图照片和夜间提问，就像口袋里有个团队帮你干活。

原文

7月7日

22:15

elvis@omarsar0

精选

MiniMax M3 是一款支持多模态的长运行智能体模型。它采用稀疏注意力机制，有效降低长上下文下的计算开销。该模型可同时处理文本与图像等多种输入。其设计使智能体在长时间任务中保持高效实用。

AI模型 MiniMax M3 多模态智能体稀疏注意力长上下文

推荐理由：MiniMax M3 用稀疏注意力让智能体能跑很久，多模态还实用，搞长任务的不妨关注一下。

原文

13:12

官方一手pandaily@contact@pandaily.com (Pandaily)

Wiener Intelligence 于2026年5月28日在《Nature Communications》上发表论文，提出一种多模态深度学习模型，用于患者功能预后风险分层。这是首家中国数据生成公司在 Nature 系列期刊上发表研究成果。该论文展示了 Wiener Intelligence 在医疗 AI 领域的技术积累，涵盖影像、文本等多模态数据整合。

论文 Wiener Intelligence Nature 多模态深度学习医疗

推荐理由：中科院的？不是，Wiener Intelligence 这家做数据生成的公司直接把多模态模型发上了 Nature 子刊，医疗预后分析这事儿他们真干出来了。

原文

11:58

官方一手Pandaily@contact@pandaily.com (Pandaily)

Weina Intelligence 于 2026 年 5 月 28 日在 Nature Communications 发表论文，题为“Multimodal deep learning model for AI-based functional prognostic risk stratification”。该公司成为首家在 Nature 子刊发表论文的中国数据生成企业。论文提出一种多模态深度学习模型，用于基于 AI 的功能预后风险分层。该工作展示了数据生成公司在学术研究上的突破。

论文 Weina Intelligence Nature Communications 多模态深度学习风险分层

推荐理由：Weina Intelligence 成了第一个发 Nature 子刊的中国数据生成公司，论文讲多模态深度学习模型做风险分层，挺有意思。

原文

11:08

官方账号arXiv cs.AI@Guli Zhu, Chenwei Wu, Liyue Shen

论文提出M3Bench基准，专用于评估医学视觉语言模型（VLM）的模型编辑效果。M3Bench包含16,276个问题，覆盖多种解剖结构、模态和专科，支持单次和顺序编辑。研究者评估了4种代表性编辑器在6个医学和通用VLM上的表现，发现梯度方法迁移强但破坏局部性，记忆方法局部性好但缺乏组合泛化。该基准揭示了VLM潜在空间几何与编辑方法失效的关系，为安全部署提供指导。

论文 M3Bench 医学VLM 模型编辑多模态 AI安全

推荐理由：这篇论文搞了个医学VLM模型编辑的测试基准M3Bench，有1.6万多个问题，测了6个模型和4种编辑方法，发现各有各的坑，想搞懂模型编辑在医学领域行不行得通可以看。

原文

10:24

官方一手歸藏(guizang.ai)@op7418

Anthropic 在推特上发布了一段新研究的演示视频，展示了画面与 ASCII 字符动画的配合与转换效果。视频中图像可自动转化为 ASC2（ASCII）字符动画，视觉效果流畅。该研究的具体论文名称尚未披露，但演示表明其在视觉与文本符号映射方面有所创新。

论文 Anthropic ASCII字符动画研究演示多模态

推荐理由：Anthropic 发了个研究 demo，画图直接转成 ASCII 动画，效果很炫酷，可以看看怎么做到的。

原文

05:27

LlamaIndex@llama_index

精选

LlamaIndex 联合 LanceDB 推出基于 LiteParse 的混合检索方案，专门应对企业级格式混乱的 PDF。LiteParse 将 PDF 分解为页面（含文本+截图+嵌入）、文本块和提取的视觉资产三个层次，存入 LanceDB 的多模态存储中。相比传统仅依赖文本块检索的 RAG 系统，该管道允许智能体跨页面、文本块和视觉资产进行联合检索与推理。最终显著提升了 agent 检索质量与响应准确性，解锁了传统方法遗漏的信息。

技巧 LiteParse LanceDB LlamaIndex RAG 多模态

推荐理由：LlamaIndex 和 LanceDB 教你怎么用 LiteParse 搞定那些排版混乱的企业 PDF，表格、图片里的信息也能准确被 agent 找到。

原文

02:36

Gary Marcus@GaryMarcus

精选

Yann LeCun 在 Bloomberg 采访中指出，LLM 预训练于约 20 万亿单词（30 万亿 token），数据量约 10^14 字节，仅相当于一个 4 岁孩子通过视觉在 4 年内获取的数据量。但文本需要 40 万年才能读完，而孩子通过视觉、触觉等感官获得密集反馈。LeCun 引用 Moravec's paradox，认为理解物理世界（如玻璃杯的易碎感）远比生成流畅文本困难。

行业 LLM Yann LeCun Moravec's paradox 多模态

推荐理由：Yann LeCun 用具体数字对比，讲清了 LLM 为什么看起来聪明却不懂物理常识。想理解当前 AI 天花板的人可以看看。

原文

7月6日

09:12

09:12IT之家（博客/媒体）

日本经济产业省6月30日公布《人工智能机器人战略》修订版，计划到2040年在18个领域部署1000万台AI机器人。该战略旨在应对人口老龄化和低出生率导致的劳动力短缺。日本经产省未来5年将向软银、NEC、本田、索尼等创立的Noetra提供合计1万亿日元（约420.13亿元人民币）资金，用于多模态平台开发，其中2026财年拨款3873亿日元。

行业日本 AI机器人 Noetra 多模态机器人

推荐理由：日本政府打算砸1万亿日元搞AI机器人，到2040年铺1000万台，软银、索尼这些公司一起上，缺劳动力的可以关注。

原文

7月5日

13:17

Yangyi@Yangyixxxx

X平台用户@yangyi在推文(ID 2073621278356086856)中表示AI需要上下文信息。该推文获得92次浏览。他认为所有信息交互方式都能传递上下文，只是模态需要转化，该推文有0条回复和0次转发。

技巧 @yangyi 上下文信息多模态模态转化

推荐理由：@yangyi 分享了关于AI上下文的看法：任何交互都能传上下文，关键在模态转化。这视角能帮你打开改造思路。

原文

7月4日

03:03

elvis@omarsar0

推特用户@omarsar0分享经验：与AI代理交互时使用语音、文本和视觉标注是最大杠杆之一。他默认采用多模态提示方式。他认为这种交互方式更自然，能更充分地利用代理能力并发现未知内容。

技巧智能体多模态提示词工程

推荐理由：这位用户分享了用语音、文字加图标注跟AI代理聊天的技巧，能拿到更多信息，试试看

原文

7月3日

23:33

23:33IT之家（博客/媒体）

72°

字节豆包视频生成模型 Seedance 2.5 于 6 月 23 日发布，目前处于全球企业内测。该模型支持 30 秒单段原生直出及高质量视频延长。支持 50 个全模态素材联合输入，实现多素材统一理解与生成。支持视频二次编辑，可保持画面一致性进行局部调整。体验中心预计 7 月 6 日上线，一周后开放 API。

AI模型 Seedance 2.5 字节豆包视频生成多模态 API

推荐理由：字节豆包 Seedance 2.5 要上线体验中心了，能生成 30 秒视频还能同时用 50 个素材编辑，实打实提升视频创作效率。

原文

17:31

官方账号阿里云 Alibaba Cloud@alibaba_cloud

精选72°

在 Flink Forward Asia Shenzhen 2026 上，阿里云 DLF 负责人 Jingsong Li 和阿里集团数据架构专家 Ziliang Zhang 介绍了 Apache Paimon 2.0。新版本将流式湖仓演进为统一多模态数据基础。通过与 Apache Flink 集成，构建端到端管道，能提供无瓶颈的高质量数据。该架构旨在支持 AI 原生工作流的实时数据需求。

AI产品 Apache Paimon Alibaba Cloud Apache Flink 多模态实时数据

推荐理由：阿里云在Flink Forward上秀了Paimon 2.0，把流式湖仓升级成多模态数据底座，专为AI工作流扫清数据瓶颈，搞AI数据管线的可以关注。

原文

15:45

官方账号vLLM@vllm_project

74°

Qwen3-Omni采用多模态Thinker与Talker（Code2Wav）流水线架构。高并发下仅复制语音阶段，复用Thinker结果，首音频延迟从约6秒降至0.6秒。吞吐量在同GPU上提升5.4倍，语音生成快于实时。该优化由阿里、蚂蚁集团SCT团队和vLLM-Omni团队共同实现。

AI模型 Qwen3-Omni 多模态推理优化语音对话 vLLM

推荐理由：阿里和蚂蚁团队搞了个优化，Qwen3-Omni实时对话延迟从6秒降到0.6秒，吞吐还翻了5倍多，推荐看技术博客。

原文

11:49

官方账号arXiv cs.AI@Yuxuan Li, Lingxi Xie, Xinyue Huo, Jihao Qiu, Jiacheng Shao, Pengfei Chen, Jiannan Ge, Kaiwen Duan, Qi Tian

研究者发布了DramaSR-532K基准，包含53.2万条带注释对话和900多个角色，需整合听觉、语言和视觉线索。他们提出DramaSR-LRM方法，基于大型推理模型(LRM)，通过多模态工具自主聚合上下文证据。在短话语上，DramaSR-LRM显著优于现有基线，因为声学生物特征在这些场景中不可靠。数据和代码将公开。

论文 DramaSR-532K DramaSR-LRM 推理模型说话人识别多模态

推荐理由：一篇论文用推理模型做说话人识别，还建了个53万条对话的新基准，短话识别效果比现有方法强不少。

原文