多模态相关 AI 资讯

6月4日

11:44

lmarena.ai@lmarena_ai

精选76°

MiniMax M3 模型在 LMSYS Arena 上线，在 Code Arena: Frontend 排名第 7，得分 1531，与 GLM-5.1 不相上下。该模型以每百万 token 输入 0.60 美元、输出 2.40 美元的价格，在其价位上推动了帕累托前沿。MiniMax M3 是首个结合编码与智能体前沿能力的开源权重模型，在 SWE-Bench Pro 上达 59.0%，支持 1M 上下文，并原生支持多模态。权重和技术报告将在约 10 天内发布。

AI模型 MiniMax M3 编码模型开源权重智能体多模态

推荐理由：MiniMax M3 以极低价格实现了顶级编码性能，做前端开发或智能体应用的团队值得关注，性价比突出。

原文

10:34

官方账号arXiv cs.AI@Jingyuan Chen, Sheng Jin, Haopeng Sun, Wentao Liu, Chen Qian

UniCAD 是一个面向计算机辅助设计（CAD）的多模态学习基准，涵盖点云到CAD重建、文本/图像到CAD生成以及CAD问答等任务。同时提出的 UniCAD-MLLM 是一个通用多模态大语言模型，能端到端处理文本、图像、草图和点云，在单一框架内完成异构任务。实验表明，UniCAD-MLLM 在 UniCAD 和 Fusion360 基准上均达到最先进水平，超越现有任务专用和多任务基线。该工作填补了CAD领域缺乏统一多模态基准的空白，将开源数据集、代码和预训练模型。

论文 CAD 多模态基准大语言模型 3D重建

推荐理由：CAD 研究者终于有了统一的多模态基准和通用模型，做3D设计、CAD生成或问答的团队可以直接用 UniCAD-MLLM 替代多个专用模型，建议关注开源资源。

原文

10:19

berryxia@berryxia

78°

OpenMOSS团队发布开源模型MOSS-Audio，首次将语音、音乐和环境音统一建模，实现音频语言统一。该模型能同时转录语音、识别环境音、理解音乐情绪，并生成文本描述或执行下游任务。它登顶Hugging Face Trending第一，代码和模型权重完全开源可商用。这颠覆了音频AI作为视觉/文本附属品的认知，让普通开发者能本地搭建音频Agent。开源社区在音频多模态领域的速度和开放度已领先闭源方案。

AI模型开源/仓库音频模型多模态 MOSS-Audio 智能体

推荐理由：做音频Agent或播客工具的开发者终于不用在闭源高价和割裂方案间纠结——MOSS-Audio一个模型搞定语音+声音+音乐，直接本地跑，建议立刻拉下来试试。

原文

10:00

官方账号Jeff Dean@JeffDean

精选

谷歌发布Gemma 4 12B模型，采用Apache 2.0许可证开放权重。该模型采用无编码器多模态架构，统一处理文本、图像等输入。12B参数规模可在笔记本电脑上直接运行，兼顾边缘效率与高级推理。

AI模型 Gemma 4 12B Google Apache 2.0 多模态开源模型

推荐理由：12B模型笔记本就能跑

原文

04:27

官方账号Decoder@Matthias Bastian

78°

Google DeepMind 发布了 Gemma 4 12B 开源模型，原生支持文本、图像和音频处理，仅需 16GB 内存即可在笔记本上运行。该模型在基准测试中几乎与两倍大小的 26B 模型持平，并采用 Apache 2.0 许可证，允许商业使用。这标志着多模态 AI 在消费级硬件上的重大突破，降低了开发者和企业的使用门槛。

AI模型多模态开源/仓库 Gemma 4 Google DeepMind 本地推理

推荐理由：多模态模型终于能跑在普通笔记本上了，做本地 AI 应用或边缘计算的开发者可以直接下载试试，性能还接近两倍大的模型。

原文

04:12

HeyGen@HeyGen_Official

HeyGen 与 Google DeepMind 将于6月11日在洛杉矶联合举办一场线下活动，主题聚焦智能体、多模态应用和创意工具。活动内容包括产品演示、交流讨论，并开放闪电演示名额，邀请有创新项目的团队或个人参与。这是两家 AI 领域知名公司首次公开合作举办社区活动，旨在促进前沿 AI 技术的实践与交流。

行业 HeyGen Google DeepMind 智能体多模态线下活动

推荐理由：做 AI 应用和智能体开发的团队别错过——HeyGen 和 DeepMind 首次线下联办，有机会展示你的项目、直接和两家团队交流，闪电演示名额开放中，建议有 demo 的立刻报名。

原文

01:54

Patrick Loeber@patloeber

78°

Google 发布 Gemma 4 12B 模型，采用全新统一架构，去除了独立的多模态编码器，原生支持图像、音频、视频和文本输入。该模型还具备高级智能体推理能力，并首次推出基于 LiteRT 的 macOS 桌面应用。这一架构简化了多模态处理流程，降低了部署门槛，适合本地运行和边缘设备。开发者可立即在 macOS 上体验其多模态与推理能力。

AI模型 Gemma 4 多模态统一架构智能体推理 macOS

推荐理由：Gemma 4 12B 的统一架构让多模态模型更轻量、更易部署，做本地 AI 应用或智能体开发的团队可以直接在 macOS 上试跑，值得关注。

原文

01:28

官方账号SiliconFlowAI@siliconflowai

83°

AI模型 MiniMax M3 开源模型编码能力多模态

推荐理由：M3 把编码、长上下文和多模态三合一开源了，做 AI 应用开发的团队可以直接在 SiliconFlow 上低成本试用，编码能力还超过了 GPT-5.5，值得上手体验。

原文

01:18

Geek@geekbb

Google 发布了 Gemma 4 12B 模型，这是一款统一的无编码器多模态模型，专为在笔记本电脑上高效运行而设计，采用 Apache 2.0 许可证。该模型在边缘效率与高级推理之间取得了平衡，适合本地部署。对于 Mac mini 用户来说，这可能是一个理想的本地 AI 模型选择，因为其轻量级设计和高性能推理能力。

AI模型 Gemma 4 12B 本地模型多模态 Mac mini 开源

推荐理由：Mac mini 用户终于有了一个高性能的本地多模态模型选择——Gemma 4 12B 在笔记本上就能跑，做本地 AI 开发或隐私敏感应用的团队可以直接试试。

原文

00:31

官方账号阶跃星辰 Stepfun@Stepfun_AI

Step 3.7 Flash 模型专为真实世界的智能体编程任务设计，不仅追求代码生成速度，更注重在复杂输出中保持逻辑、视觉和执行的一致性。该模型在演示中展示了其在多步骤、多模态任务中的连贯性，适合需要高可靠性的编程场景。开发者 @atomic_chat_hq 的创意测试进一步验证了其能力。

AI模型智能体编程助手推理模型 Step 3.7 Flash 多模态

推荐理由：做智能体编程的开发者终于有了一个兼顾速度和一致性的模型——Step 3.7 Flash 在复杂任务中保持逻辑连贯，值得在真实项目中试试。

原文

6月3日

10:17

官方账号arXiv cs.AI@Senjie Jin, Peixin Wang, Boyang Liu, Xiaoran Fan, Shuo Li, Zhiheng Xi, Jiazheng Zhang, Yuhao Zhou, Tao Gui, Qi Zhang, Xuanjing Huang

精选

研究发现，在视觉推理任务中，仅依赖令牌级熵进行强化学习（RLVR）会失效，因为视觉敏感但熵低的令牌被忽略。现有多模态RL方法要么缺乏系统视觉度量，要么忽视熵主要驱动语义探索。为此，研究者提出VEPO框架，通过视觉敏感性与令牌熵的乘法耦合，将梯度信用分配给同时具备视觉基础和高信息量的令牌。实验表明，VEPO在7B和3B规模上分别比熵基线提升2.28和3.15个百分点，消融实验验证了方法的有效性。

论文强化学习视觉推理令牌选择多模态 VEPO

推荐理由：视觉推理强化学习一直缺乏有效的信用分配机制，VEPO解决了这个痛点——做多模态RL的团队可以直接参考这个框架，在视觉-语义交叉场景中提升模型表现。

原文

04:40

官方账号Together AI@togethercompute

76°

MiniMax-M3 是一款结合了 1M 上下文窗口、原生多模态能力和 MiniMax 稀疏注意力机制的新模型。Together 的推理和内核团队通过 KV-block-major 稀疏注意力、分页 MSA 解码、优化索引评分以及 GPU 工作前的多模态预处理，将常见智能体流量下的吞吐量提升了 81-125%。该模型在长上下文和多模态任务上表现出色，适合需要处理大量信息和多种数据类型的应用场景。

AI模型 MiniMax-M3 稀疏注意力多模态长上下文推理优化

推荐理由：做长上下文和多模态应用的团队可以关注——MiniMax-M3 的稀疏注意力优化让吞吐量提升显著，直接降低推理成本，值得一试。

原文

01:11

AI Will@FinanceYF5

Riley Brown 展示了 OpenAI Codex 内嵌的“Paper”白板功能，可以自动从 YouTube 或任意网站抓取缩略图并放置到白板上。用户能快速拖拽、混搭这些图像元素，利用内置的 GPT-4o 图像模型进行创意组合。这一功能让概念探索和视觉灵感收集变得极其高效，尤其适合需要快速原型设计的创作者。Codex 正从纯编程助手演变为多模态创意工具。

AI产品 Codex 白板/画布 GPT-4o 图像模型创意工具多模态

推荐理由：做视觉创意或快速原型的设计师、内容创作者，可以试试用 Codex 的白板功能直接抓取网页图像并混搭，比手动截图拖拽快得多。

原文

6月2日

17:15

官方一手marktechpost@Michal Sutter

83°

阿里Qwen团队在百炼平台推出Qwen3.7-Plus，这是一个多模态智能体模型。它不仅能理解图像和视频，还新增了自主编程、工具调用和深度推理能力。该模型支持视觉理解、复杂推理和自动化迭代，可应用于更广泛的AI任务场景。这标志着阿里在构建全能型AI智能体方面迈出重要一步。

AI模型 Qwen3.7-Plus 多模态智能体工具调用百炼平台

推荐理由：Qwen3.7-Plus把视觉、推理和工具调用整合到一个模型里，做多模态应用的开发者可以直接在百炼平台体验，省去拼接多个模型的麻烦。

原文

11:12

官方账号arXiv cs.AI@Stefano Samele, Eugenio Lomurno, Teodora Jovanovic, Sanjay Shivakumar Manohar, Alberto Crivellaro, Matteo Matteucci

工业异常检测领域近年引入多模态视觉语言模型，声称可通过文本指令实现零样本或少样本检测。但现有评估方法沿用单模态基准，无法验证模型是否真正依赖文本条件。本文提出TGAD结构化基准，通过三个递进场景测试：MVTec AD上的提示敏感性测试、组件级标注扩展、以及新构建的组装面板数据集APD。测试发现，三种代表性模型（生成式大视觉语言模型、无训练判别式、嵌入自适应判别式）均仅表面响应文本指令：移除物体名词后生成模型I-AUROC从97.4降至82.6；组件指令无法约束决策；在APD上图像级判别甚至低于随机水平（最低31.5）。结果表明当前多模态异常检测系统的文本引导能力被高估，需要此类基准才能实现工业部署所需的可靠语言控制。

论文异常检测多模态基准测试视觉语言模型工业检测

推荐理由：做工业视觉检测的团队会发现，当前号称支持文本引导的模型其实并不听指令——TGAD基准直接戳破了这个泡沫，建议点开看看你的模型是否真的被语言控制。

原文

11:12

官方账号arXiv cs.AI@Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

网络上有大量多模态、异构、嘈杂的程序性知识，但直接用于智能体执行长周期任务效果不佳。研究者提出 guide-to-skill 学习问题，并发布首个基准 MMG2Skill-Bench。他们设计的闭环框架 MMG2Skill 能将人类指南编译为可编辑技能，在执行时条件化固定视觉语言模型，并通过轨迹级根因反馈持续修正技能。在 GUI 控制、开放游戏和策略卡牌等六个 VLM 骨干上，该方法比基线提升 12.8 到 25.3 个百分点。消融实验表明，直接提示原始指南反而会降低性能，而结构化技能构建和轨迹驱动修正是关键。

论文智能体技能蒸馏多模态长周期任务闭环学习

推荐理由：做智能体长任务规划的团队终于有了把网络教程变成可执行技能的方案——MMG2Skill 直接解决了指南与技能之间的鸿沟，做 GUI 自动化或游戏 AI 的开发者可以试试这个闭环框架。

原文

10:58

官方账号阿里通义 Qwen@Alibaba_Qwen

阿里 Qwen 团队在 Twitter 上展示了 Demo2，一个多模态交互混合智能体。该智能体能够处理文本、图像等多种输入，实现更自然的交互体验。Demo2 展示了多模态理解和生成能力，标志着 AI 智能体在多模态交互方面的新进展。这一技术有望应用于更复杂的任务场景，提升人机协作效率。

AI产品 Qwen 多模态智能体交互阿里

推荐理由：多模态交互是 AI 智能体的关键方向，Qwen 的 Demo2 展示了更自然的交互方式，做多模态应用或智能体开发的团队值得一看。

原文

10:17

AI Will@FinanceYF5

GPT Realtime 2.0 的发布被评价为“相当惊人”，因为它解锁了6个月前完全无法实现的17个创业方向。这些想法完全依赖该模型的实时交互能力，涵盖语音、视频、多模态等场景。该模型大幅降低了实时AI应用的开发门槛，可能引发新一轮创业浪潮。对于关注AI产品落地的创业者和开发者，这是值得深入研究的信号。

AI产品 GPT Realtime 2.0 创业实时交互多模态语音AI

推荐理由：GPT Realtime 2.0 把实时AI应用的可行性推到了新高度，做语音/视频交互产品的创业者可以从中找到17个具体方向，建议直接点开看想法列表。

原文

09:51

Julien Chaumond@julien_c

精选

阿里巴巴 Qwen 团队发布 Qwen3.7-Plus，一个多模态智能体模型，统一了视觉和语言能力。该模型支持多模态交互式混合智能体，可同时处理 GUI 和 CLI 操作，具备视觉感知、推理、定位和搜索增强问答能力。它还能作为全能编码助手和生产力工具，接受全模态输入。Qwen3.7-Plus 现已通过阿里云模型服务 API 提供，开发者可直接尝试。

AI模型 Qwen 多模态智能体开源/仓库阿里云

推荐理由：多模态智能体模型将视觉与语言统一，做自动化操作和智能体开发的团队可以直接用 API 试，省去自己拼接多模型的工作。

原文

09:32

官方账号阿里通义 Qwen@Alibaba_Qwen

83°

阿里 Qwen 团队正式推出 Qwen3.7-Plus，这是一款将视觉与语言能力统一的多模态智能体模型。它支持多模态交互混合智能体，可同时处理 GUI 和 CLI 操作；具备全模态输入的编程助手与生产力工具能力；视觉方面涵盖感知、推理、定位和搜索增强问答。该模型在多种智能体框架上表现出跨框架泛化能力，现已通过阿里云 Model Studio API 开放使用。

AI模型多模态智能体 Qwen3.7-Plus 阿里云 API

推荐理由：做多模态应用或智能体开发的团队可以直接用 API 试——一个模型搞定看、想、写、做，省去多模型拼接的麻烦。

原文

08:23

Guillermo Rauch@rauchg

76°

MiniMax M3 在 Next.js 智能体评测中成为领先的开源模型，性能仅次于 Opus 和 GPT-5，但成本低 10 倍。这是 MiniMax 首个支持多模态输入的长上下文模型。Vercel 宣布 M3 已上线 AI Gateway，并提供一周 50% 折扣。开发者可以以极低成本获得接近顶级模型的智能体能力。

AI模型 MiniMax M3 开源模型智能体 Next.js 多模态

推荐理由：做 Next.js 智能体开发的团队终于有了高性价比的开源选择——M3 性能接近 Opus 但成本仅 1/10，Vercel 用户现在就能用上，建议立刻试试。

原文

08:14

岚叔@lufzzliz

AI模型 Qwen3.7-Plus 多模态 Agent 工具调用性价比

推荐理由：Qwen3.7-Plus 把多模态 Agent 的实用门槛又拉低了一截，做自动化工作流或 GUI 操作的开发者可以直接关注，性价比和功能覆盖都很能打。

原文

06:41

06:41IT之家（博客/媒体）

精选

阿里千问大模型推出 Qwen3.7-Plus，定位为多模态交互混合智能体，在保留文本、编码、工具使用等能力基础上，强化了视觉理解、视觉推理和跨模态任务处理。该模型支持图像、视频、屏幕、网页和文本输入，可在 GUI、CLI 和工具环境中完成复杂软件与办公流程。在 Vision Arena 评测中，阿里凭借该模型进入全球前 5、中国第 1，多模态测试在 BabyVision、MathVision 等基准上提升明显。模型已通过阿里云百炼和 Qwen Studio 提供服务。

AI模型 Qwen3.7-Plus 多模态智能体阿里千问视觉理解

推荐理由：Qwen3.7-Plus 把视觉与语言统一到智能体基座，做多模态应用或办公自动化的团队可以直接在百炼上试，能省掉不少模型拼接的麻烦。

原文

04:47

官方一手marktechpost@Asif Razzaq

78°

MiniMax 正式发布新一代大模型 MiniMax M3，采用自研的 MiniMax Sparse Attention（MSA）架构，支持高达 100 万 token 的超长上下文窗口。该模型原生支持图像、视频理解以及计算机使用（computer use）能力，并具备智能体编程（agentic coding）功能。MSA 架构通过稀疏注意力机制显著降低长序列计算成本，使得处理百万级 token 成为可能。这标志着国产大模型在长上下文和多模态融合方面迈出了重要一步，为复杂文档分析、视频理解和自动化编程等场景提供了新的基础设施。

AI模型 MiniMax M3 MSA架构长上下文多模态智能体编程

推荐理由：MiniMax M3 的 1M 上下文和原生多模态能力直接解决了长文档分析和视频理解的痛点，做 RAG 应用或自动化编程的团队值得关注其 agentic coding 特性。

原文

01:32

01:32官方一手Google Blog: AI（博客/媒体）

Google 内部团队利用 Gemini 模型辅助制作了 2026 年 I/O 大会的多个环节，包括生成演讲脚本、设计演示素材、优化会议流程等。这展示了 AI 在大型活动策划与执行中的实际应用，从创意生成到后期制作全程参与。Gemini 的多模态能力被用于处理文本、图像和视频内容，显著提升了团队的工作效率。此举也标志着 Google 对自家 AI 产品的深度信任和内部实践。

AI产品 Gemini Google I/O AI 辅助创作多模态活动策划

推荐理由：活动策划和内容制作团队可以看看 Google 如何用 Gemini 把大会筹备效率拉满——从写稿到做素材一条龙，值得借鉴。

原文

6月1日

21:50

官方账号Decoder@Jonathan Kemper

78°

中国AI公司MiniMax发布了新模型M3，号称是首个结合顶级编码性能、百万token上下文窗口和原生多模态能力的开源权重模型。该模型在多项基准测试中表现优异，尤其在长上下文任务和代码生成方面，直接挑战GPT-4、Claude等闭源模型。M3的开源特性使得开发者可以自由部署和微调，降低了使用门槛。这一发布标志着开源模型在关键能力上正快速追赶闭源方案。

AI模型 MiniMax M3 开源模型百万token上下文多模态

推荐理由：百万token上下文+开源权重，做长文档处理或代码分析的团队可以直接部署，不用再被闭源API的token计费卡脖子。

原文

19:05

AI Will@FinanceYF5

72°

Greg Isenberg 分享了基于 GPT Realtime 2.0 的 17 个创业想法，这些想法只有在实时语音模型支持下才能实现。涵盖实时合同谈判、语音交易终端、多语言同传、医疗问诊、现场服务调度、编程助手、拍卖代理、律师证词准备、播客研究、销售教练、房产评估、智能婴儿监护等场景。核心特点是模型能在对话中并行查询多个数据源、理解专业术语、支持 128K 上下文，并可根据任务复杂度调整推理深度。这些想法展示了实时语音 AI 如何将传统需要多步骤、多工具的任务压缩到一次对话中完成。

AI产品 GPT Realtime 2.0 实时语音创业点子智能体多模态

推荐理由：实时语音 AI 终于有了具体可落地的商业场景，做创业或产品经理的可以直接从中找灵感，17 个方向覆盖了从法律到医疗的多个垂直领域，值得收藏研究。

原文

18:53

岚叔@lufzzliz

精选76°

MiniMax 发布新一代旗舰模型 M3，面向 coding agent、长上下文和多模态任务。M3 支持 1M 上下文，核心技术创新是 MiniMax Sparse Attention (MSA)，通过稀疏注意力将 KV 分块并精确选取相关块，大幅降低长上下文计算成本。在 1M 上下文下，每 token 计算量仅为上一代的 1/20，prefill 提速 9 倍以上，decode 提速 15 倍以上。M3 支持文本、图片、视频输入，将长上下文、工具调用、多模态理解和持续执行能力整合，明确押注 agentic coding 场景。

AI模型 MiniMax-M3 稀疏注意力长上下文 Agentic Coding 多模态

推荐理由：M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。

原文

15:16

官方一手pandaily@contact@pandaily.com (Pandaily)

精选83°

MiniMax 发布了其旗舰模型 M3，声称这是国内首个将前沿编码、智能体能力、100 万 token 上下文窗口和原生多模态处理整合在单一架构中的 AI 模型。M3 模型在多项基准测试中表现出色，尤其在长文本理解和复杂任务执行方面。该模型支持同时处理文本、图像、音频等多种输入，并具备强大的代码生成和工具调用能力。MiniMax 表示 M3 旨在为开发者和企业提供更高效、更全面的 AI 解决方案。

AI模型 MiniMax M3 多模态长上下文智能体

推荐理由：MiniMax M3 将 1M 上下文、多模态和智能体能力打包进一个模型，做长文本处理或多模态应用的开发者可以直接用它替代多个模型组合，省心又高效。

原文

14:50

官方一手歸藏(guizang.ai)@op7418

精选76°

MiniMax 正式发布大版本模型升级 MiniMax M3，核心亮点包括标配 1M 超长上下文、采用新的 MSA（MoE with Segment-wise Attention）稀疏注意力架构，以及从训练起就融合了文本、图片、视频和桌面操作的原生多模态能力。MSA 架构在 100 万上下文下每 token 计算量仅为上一代的约 1/20，大幅提升可落地性。API 价格同步更新，小于 512k 的 API 限时五折（7 天）。模型权重和技术报告将在约 10 天后开源。

AI模型 MiniMax M3 长上下文稀疏注意力多模态 API

推荐理由：MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里，而且计算效率大幅提升，做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试，价格也很友好。

原文

11:17

11:17IT之家（博客/媒体）

上海市人民政府办公厅印发《上海市服务业发展“十五五”规划》，明确提出支持多模态智能体开发与应用，推动智能客服、智能运营等工具规模化。规划还强调有序推进智能驾驶在共享出行、物流运输等多场景应用，并聚焦AI软件技术、具身智能、智算云服务等领域。该规划旨在到2030年服务业增加值达6万亿元，打造全球服务资源配置枢纽。对AI从业者和企业而言，这意味着上海将提供政策支持和场景落地机会。

行业智能体多模态智能驾驶上海政策服务业规划

推荐理由：上海明确将多模态智能体和智能驾驶列为重点方向，做AI应用和自动驾驶的团队可以提前布局政策红利场景。

原文

11:12

OpenRouter@OpenRouterAI

精选76°

MiniMax 发布了 M3 模型，这是首个同时具备编码、智能体与多模态能力的开源权重模型。在 SWE-Bench Pro 上达到 59.0%，Terminal Bench 2.1 上 66.0%，并支持 1M 上下文窗口。模型原生多模态，从零开始训练，权重和技术报告将在约 10 天后公开。API 已上线 platform.minimax.io，并提供 MiniMax Code 工具。

AI模型 MiniMax M3 开源模型编码智能体多模态

推荐理由：MiniMax M3 把编码、智能体和多模态三个前沿能力打包进一个开源模型，做 AI 应用开发或智能体研究的团队可以直接用 API 体验，值得关注即将开源的权重。

原文

11:11

OpenRouter@OpenRouterAI

精选76°

MiniMax-M3 是一款前沿开源权重模型，已在 OpenRouter 平台上线。它集成了 100 万 token 的超长上下文窗口、顶尖的编程与智能体能力，以及原生支持图像和视频的多模态处理。该模型在编码和智能体任务上表现卓越，同时保持了开源特性，为开发者和研究者提供了强大的工具。其 1M token 上下文窗口尤其适合处理长文档、复杂代码库和多模态数据融合场景。

AI模型 MiniMax-M3 开源模型长上下文多模态编程助手

推荐理由：MiniMax-M3 把长上下文、强编码和多模态塞进一个开源模型里，做复杂智能体或长文档处理的团队可以直接在 OpenRouter 上试，省去自己部署的麻烦。

原文

11:07

lmarena.ai@lmarena_ai

精选76°

MiniMax 发布开源权重模型 M3，首次在单一模型中融合编码、智能体与多模态三大前沿能力。在 SWE-Bench Pro 上达到 59.0%，Terminal Bench 2.1 为 66.0%，并支持 1M 上下文长度。模型已上线 Arena 的文本、视觉、文档和代码竞技场，用户可投票评测。权重和技术报告将在约 10 天后公开。

AI模型 MiniMax M3 开源模型编码智能体多模态 Arena

推荐理由：MiniMax M3 把编码、智能体和多模态塞进一个开源模型，做 AI 应用和 Agent 开发的团队可以直接在 Arena 上测效果，省去自己搭环境的时间。

原文

10:24

官方账号arXiv cs.LG@Dylan Steiner, Gustavo Arango-Argoty, Gerald Sun, Etai Jacob

多模态肿瘤模型能做出准确预测，但无法判断其是否学到跨模态共享的生物学、单一模态的生物学，还是虚假相关性。研究者提出DECAT，一个模型无关的后验评估框架，通过五个零假设参考指标和规则决策，将多模态表征分为四种诊断场景。在合成数据（2500+训练表征）和真实TCGA数据（8979名患者）上验证，发现CLIP等纠缠模型在检测共享生物学上近乎完美，但在大多数不存在共享生物学的情况下错误声称存在，且错误率随混杂强度增加。DECAT无需知道具体混杂因素，就能检测出AUROC无法发现的混杂。

论文多模态医学AI 评估框架混杂检测 DECAT

推荐理由：做多模态医学AI的团队终于有了判断模型是否学到真实生物学的工具——DECAT能揪出被AUROC掩盖的虚假关联，建议做肿瘤多模态研究的开发者点开看看。

原文

10:12

官方账号arXiv cs.LG@Utsav Dutta, Gerardo Pastrana, Sina Khoshfetrat Pakazad, Henrik Ohlsson

CHARM是一种基于Transformer的通道感知表示模型，通过将通道级文本描述集成到编码器中，实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构（JEPA）训练，并引入新损失函数以促进信息丰富且时间稳定的嵌入，在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中，仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构，文本描述作为通道标识符支持跨数据集泛化。

论文时间序列多模态 JEPA Transformer 表示学习

推荐理由：CHARM解决了多变量时间序列表示学习的通用性问题，做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能，值得关注其跨数据集泛化能力。

原文

5月30日

12:53

Geek@geekbb

精选

阿里云推出 Model Studio CLI（百炼 CLI），这是一个官方命令行工具，支持与 Qwen 系列模型进行文本对话、多模态理解（图片、音频、视频）、图片与视频生成编辑、语音合成识别、知识库检索及网页搜索等功能。该工具将阿里云 AI 平台能力集成到终端，方便开发者通过命令行快速调用。项目已开源在 GitHub，适合需要自动化或脚本化调用 AI 能力的场景。

AI产品阿里云百炼 CLI 命令行工具多模态开源/仓库

推荐理由：百炼 CLI 把阿里云的多模态和搜索能力直接搬到了命令行，做自动化脚本或需要批量调用 AI 的开发者可以省去写 API 调用的麻烦，值得一试。

原文

05:39

官方账号Jeff Dean@JeffDean

精选

在Logan Kilpatrick主持的对话中，Gemini联合负责人Jeff Dean、Oriol Vinyals、Noam Shazeer和Koray Kavukcuoglu分享了Gemini的当前进展、发展历程及下一步计划。对话未披露具体基准分数或版本号，但涉及模型在多模态和推理能力上的方向。

行业 Gemini Google 多模态推理模型

推荐理由：听Gemini团队聊模型走向

原文

03:36

官方账号Logan Kilpatrick@OfficialLoganK

精选

Gemini联合负责人Jeff Dean、Koray Kavukcuoglu、Noam Shazeer和Oriol Vinyals在一场对话中回顾了Gemini的发展历程。他们讨论了Gemini在多模态推理和编程任务上的性能表现。对话还展望了下一步在Agent和工具使用能力上的增强方向。

AI模型 Gemini Google 多模态对话

推荐理由：Gemini团队亲自聊未来

原文

00:23

AK@_akhaliq

精选

DynaFLIP 提出一种基于三模态（视觉、触觉、动力学）的表示学习方法，用于提升机器人对物体动态交互的理解。在 RoboTouch 和 DexYCB 等基准上，DynaFLIP 相比单模态基线提升了 15% 的抓取成功率。该方法利用自监督动力学预测任务对齐多模态特征，无需大量标注数据。实验显示，DynaFLIP 在零样本迁移到新物体时泛化性优于现有方法。

AI模型 DynaFLIP 机器人感知多模态表示学习

推荐理由：让机器人看懂手-物交互

原文