AITOP

多模态

共 743 条相关 AI 资讯 · 查看话题观测
6月1日
11:11
11:11OpenRouter@OpenRouterAI
精选76°
MiniMax-M3 是一款前沿开源权重模型，已在 OpenRouter 平台上线。它集成了 100 万 token 的超长上下文窗口、顶尖的编程与智能体能力，以及原生支持图像和视频的多模态处理。该模型在编码和智能体任务上表现卓越，同时保持了开源特性，为开发者和研究者提供了强大的工具。其 1M token 上下文窗口尤其适合处理长文档、复杂代码库和多模态数据融合场景。
AI模型MiniMax-M3开源模型长上下文
事件专题
推荐理由：MiniMax-M3 把长上下文、强编码和多模态塞进一个开源模型里，做复杂智能体或长文档处理的团队可以直接在 OpenRouter 上试，省去自己部署的麻烦。
原文
11:07
11:07lmarena.ai@lmarena_ai
精选76°
MiniMax 发布开源权重模型 M3，首次在单一模型中融合编码、智能体与多模态三大前沿能力。在 SWE-Bench Pro 上达到 59.0%，Terminal Bench 2.1 为 66.0%，并支持 1M 上下文长度。模型已上线 Arena 的文本、视觉、文档和代码竞技场，用户可投票评测。权重和技术报告将在约 10 天后公开。
AI模型MiniMaxM3开源模型
推荐理由：MiniMax M3 把编码、智能体和多模态塞进一个开源模型，做 AI 应用和 Agent 开发的团队可以直接在 Arena 上测效果，省去自己搭环境的时间。
原文
10:24
10:24官方账号arXiv cs.LG@Dylan Steiner, Gustavo Arango-Argoty, Gerald Sun, Etai Jacob
多模态肿瘤模型能做出准确预测，但无法判断其是否学到跨模态共享的生物学、单一模态的生物学，还是虚假相关性。研究者提出DECAT，一个模型无关的后验评估框架，通过五个零假设参考指标和规则决策，将多模态表征分为四种诊断场景。在合成数据（2500+训练表征）和真实TCGA数据（8979名患者）上验证，发现CLIP等纠缠模型在检测共享生物学上近乎完美，但在大多数不存在共享生物学的情况下错误声称存在，且错误率随混杂强度增加。DECAT无需知道具体混杂因素，就能检测出AUROC无法发现的混杂。
论文多模态医学AI评估框架
推荐理由：做多模态医学AI的团队终于有了判断模型是否学到真实生物学的工具——DECAT能揪出被AUROC掩盖的虚假关联，建议做肿瘤多模态研究的开发者点开看看。
原文
10:12
10:12官方账号arXiv cs.LG@Utsav Dutta, Gerardo Pastrana, Sina Khoshfetrat Pakazad, Henrik Ohlsson
CHARM是一种基于Transformer的通道感知表示模型，通过将通道级文本描述集成到编码器中，实现了对异构多变量时间序列的通用表示学习。该模型采用联合嵌入预测架构（JEPA）训练，并引入新损失函数以促进信息丰富且时间稳定的嵌入，在潜在空间预测中增强对传感器噪声的鲁棒性。在异常检测、分类和短期/长期预测任务中，仅使用线性探针即可达到强性能。性能提升主要归功于JEPA目标和条件架构，文本描述作为通道标识符支持跨数据集泛化。
论文时间序列多模态JEPA
推荐理由：CHARM解决了多变量时间序列表示学习的通用性问题，做传感器数据分析、工业监控或金融时序预测的团队可以直接用线性探针获得强性能，值得关注其跨数据集泛化能力。
原文
5月30日
12:53
05:39
03:36
00:23
5月29日
23:50
12:15
12:15OpenRouter@OpenRouterAI
精选76°
StepFun 发布了 Step 3.7 Flash 模型，这是一款面向智能体、编码、搜索和多模态工作流的高效模型。该模型采用 198B 稀疏 MoE 架构，仅激活约 11B 参数，支持 256K 上下文和三种推理级别，推理速度达 400 TPS。在 ClawEval-1.1、SimpleVQA Search 和 SWE-PRO 等基准测试中表现领先，并支持视觉理解、工具调用和本地运行。模型权重以 Apache 2.0 开源，可在 Mac Studio、DGX Spark 等设备上运行。
AI模型智能体推理模型开源/仓库
推荐理由：Step 3.7 Flash 解决了智能体场景中速度与可靠性的平衡问题，做智能体开发、编码自动化和多模态应用的团队可以直接用开源权重部署，值得一试。
原文
12:15
12:15OpenRouter@OpenRouterAI
精选
阶跃星辰的 Step 3.7 Flash 模型已在 OpenRouter 平台上线。该模型是一个多模态（图像/视频/文本）MoE 架构，总参数量达 196B，但推理时仅激活 11B 参数，效率极高。模型针对编程、智能体工作流和结构化输出进行了专门调优，并支持可选的推理级别，用户可根据需求在速度、成本和深度之间灵活权衡。
AI模型阶跃星辰Step 3.7 FlashMoE
事件专题
推荐理由：做编程和智能体开发的团队终于有了一个高效的多模态 MoE 选择——196B 参数只激活 11B，成本可控且支持灵活推理级别，建议在 OpenRouter 上直接试。
原文
09:07
09:07IT之家（博客/媒体）
精选76°
阶跃星辰今日发布并开源 Step 3.7 Flash，这是一款面向 Agent 生产化阶段的新一代 Flash 模型。该模型采用稀疏 MoE 架构，总参数 196B，激活参数 11B，最高生成速度达 400 Tokens/s，适合高频、多轮、低等待的 Agent 应用。Step 3.7 Flash 具备原生多模态理解与执行、联网与视觉搜索增强、高可靠工具调用与编排等能力，并针对主流 Agent 框架和 MCP 协议进行了兼容优化。开源链接包括 Model Page、GitHub、Huggingface 和 Modelscope，国内海外平台均提供 API 接入。
AI模型阶跃星辰Step 3.7 Flash开源/仓库
事件专题
推荐理由：做 Agent 开发的团队终于有了一个原生优化、速度极快的开源模型——Step 3.7 Flash 直接兼容 Claude Code、MCP 等主流框架，接入成本低，值得立刻试跑。
原文
09:06
09:06官方账号NVIDIA AI@NVIDIAAI
精选76°
NVIDIA 宣布推出 Step 3.7 Flash 模型，这是一个 198B 参数的混合专家（MoE）模型，但仅需 11B 活跃参数即可运行，大幅降低推理成本。该模型支持 256K 上下文长度，并原生支持图像和视频输入。即日起可在 build.nvidia.com 上通过 GPU 加速端点使用，也可通过 NVIDIA NIM 微服务部署，并支持使用 NeMo 框架进行微调。这一发布标志着 NVIDIA 在高效大模型领域的重要进展，尤其适合需要多模态理解和长上下文处理的应用场景。
AI模型Step 3.7 FlashNVIDIAMoE
事件专题
推荐理由：198B 参数但仅 11B 活跃，推理效率极高，做多模态应用或长文档处理的团队可以直接在 NVIDIA 平台试用，省成本又省心。
原文
5月28日
23:48
10:28
10:28Google Gemini App@GeminiApp
Google 宣布 Gemini Omni 现已面向所有 Google AI Plus、Pro 和 Ultra 订阅用户开放，支持网页版和 Gemini 应用。该功能提供了更强大的多模态交互能力，用户可以在对话中同时处理文本、图像和音频。此次开放标志着 Gemini 在多模态 AI 领域的重要进展，订阅用户可以直接体验。
AI产品Gemini多模态订阅服务
推荐理由：多模态交互是 AI 的下一个关键方向，Gemini Omni 让订阅用户能同时处理文本、图像和音频，做内容创作或数据分析的团队值得立即体验。
原文
5月26日
16:35
16:35官方一手marktechpost@Sana Hassan
本文是一篇技术教程，详细介绍了如何使用 TuringEnterprises/Open-MM-RL 数据集构建完整的多模态强化学习与可验证奖励（RLVR）管线。教程涵盖数据集加载、模式检查、领域分析、问题长度与答案类型统计、图像分布可视化等预处理步骤。还构建了轻量级奖励函数，支持精确匹配与语义评分，并演示了 GRPO 导出流程。该管线为多模态推理任务提供了可复现的实践框架，适合研究者和开发者快速上手。
论文多模态强化学习RLVR
推荐理由：多模态 RLVR 是当前强化学习与视觉语言结合的热点方向，这篇教程从数据集到奖励函数再到导出一步到位，做多模态推理或 RL 研究的团队可以直接照着搭，省去自己踩坑的时间。
原文
11:49
11:49官方账号arXiv cs.AI@Junyuan Liu, Xinglei Wang, Zichao Zeng, Jiazhuang Feng, Quan Qin, Ilya Ilyankou, Guangsheng Dong, Tao Cheng
精选
城市表示学习将复杂城市环境编码为通用嵌入，但现有评估多局限于少数城市和任务，且随机划分导致空间泄漏，高估性能。CityRep 提出统一基准，包含空间单元无关的评估框架、基于区块的空间划分协议，以及覆盖 8 城市 8 任务的可扩展套件。评估 11 个模型发现，随机划分会扭曲性能排名，且模型表现因城市和任务差异显著。该基准提供数据集、评估管道和诊断工具，旨在推动城市表示学习的公平比较和泛化能力研究。
论文城市表示学习基准测试空间划分
推荐理由：城市表示学习领域终于有了一个靠谱的评估标准——CityRep 解决了空间泄漏和跨城市泛化评估的痛点，做城市计算或地理空间 AI 的研究者可以直接用这个基准来检验自己的模型，避免被随机划分的虚假高分误导。
原文
5月25日
20:56
20:56官方账号阿里云 Alibaba Cloud@alibaba_cloud
在Qwen Conference 2026上，行业领袖和生态先驱在基础模型论坛中围绕“Qwen的多模态未来”展开圆桌讨论。他们探讨了驱动跨模态对齐的架构变革，并深入分析了AI原生趋势。会议旨在揭示多模态AI的最新进展和未来方向。活动详情可通过链接获取。
行业多模态Qwen架构变革
推荐理由：关注多模态AI架构演进的开发者，这场圆桌讨论能帮你理解跨模态对齐的核心技术趋势，值得一看。
原文
17:54
17:53
17:38
14:42
14:42官方账号阿里云 Alibaba Cloud@alibaba_cloud
阿里云将于5月26日在新加坡金沙会展中心举办Agentic AI前沿峰会，汇聚行业先驱与远见者。会议将深入分析Agentic AI的核心基础设施及跨行业多模态工作流。该峰会旨在探讨AI代理技术的最新进展与行业应用，为参会者提供前沿洞察。活动详情可通过链接获取。
行业阿里云Agentic AI多模态
推荐理由：想了解Agentic AI最新趋势的开发者与行业决策者，这场峰会值得关注——阿里云将展示从底层基础设施到跨行业应用的全景图。
原文
10:16
5月24日
16:36
16:02
5月23日
02:16
01:48
01:48Ethan Mollick@emollick
76°
Ethan Mollick 指出，Gemini Omni 与其他视频 AI 的关键区别在于其完全多模态能力，可以原生编辑视频。他展示了将1896年经典电影《火车进站》中的火车改为子弹头列车、乐高风格，并添加时间旅行者、蜈蚣和布偶等元素。视频中甚至保留了反射效果，体现了 Gemini Omni 对视频内容的深度理解和编辑能力。这一演示凸显了 Gemini Omni 在视频生成和编辑领域的独特优势。
AI产品Gemini Omni多模态视频编辑
推荐理由：Gemini Omni 的原生视频编辑能力让创作者可以直接在视频中做复杂修改，做视频内容或 AI 应用的开发者值得关注，看看它如何理解并重构视频场景。
原文
5月22日
15:16
07:53
5月21日
15:14
08:01
08:01Google Gemini App@GeminiApp
Google 宣布全球 AI Plus、Pro 和 Ultra 订阅用户现可在 Gemini 应用中试用 Gemini Omni 功能。该功能允许用户直接在应用内进行多模态交互和创作。Google 鼓励用户分享自己的创作成果。此举标志着 Google 在 AI 多模态能力上的进一步扩展，面向高级订阅用户开放。
AI产品Gemini多模态订阅用户
推荐理由：Google 将多模态 AI 能力直接集成到 Gemini 应用中，Plus/Pro/Ultra 订阅用户现在就能上手体验，做内容创作或 AI 实验的团队值得一试。
原文
08:01
08:00
08:00
08:00官方一手歸藏(guizang.ai)@op7418
72°
谷歌在 I/O 大会上宣布将 Antigravit 整个生态整合进 Gemini，Gemini CLI 更名为 Antigravit CLI，并发布对应 SDK。Antigravit 2.0 版本更像 Codex，而非 Cursor。实测 Gemini 3.5 Flash 配合 Antigravit 在排版上表现不错，但权限审批繁琐、缺少内置浏览器等细节体验不足。整体仍处于早期阶段，适合基础任务。
AI产品谷歌 I/OAntigravitGemini
事件专题
推荐理由：谷歌把 Antigravit 生态整合进 Gemini，做 AI 编程的开发者可以试试它的多模态排版能力，但别期待太复杂的自动化——权限和体验还差一截。
原文
08:00
08:00
08:00
08:00
08:00
08:00IT之家（博客/媒体）
83°
谷歌在 2026 I/O 开发者大会上宣布，Gemini 3.5 Pro 模型将于下月正式发布。目前该模型已在谷歌内部使用，官方称其进步非常强，但未透露具体细节。这一消息表明谷歌在 AI 模型迭代上持续加速，Gemini 3.5 Pro 有望在性能、多模态或推理能力上带来显著提升，值得开发者和 AI 从业者关注。
AI模型Gemini 3.5 Pro谷歌推理模型
事件专题
推荐理由：谷歌 Gemini 系列模型迭代节奏加快，3.5 Pro 内部使用已获「进步超强」评价，做多模态或推理应用的开发者值得提前关注，下月发布后可直接上手体验。
原文
08:00