AITOP

多模态

共 743 条相关 AI 资讯 · 查看话题观测
6月5日
09:56
04:32
04:32官方一手Hugging Face: Blog（博客/媒体）
NVIDIA 推出 Nemotron 3.5 Content Safety，这是一款面向全球企业 AI 的可定制多模态安全模型。它支持文本和图像输入，能够检测有害内容（如仇恨言论、暴力、色情等），并允许企业根据自身政策进行微调。该模型基于 Llama 3.1 架构，提供 8B 和 70B 两种规模，在多个安全基准上表现优异。Nemotron 3.5 旨在帮助企业安全部署生成式 AI，满足不同地区的合规要求。
AI模型NVIDIANemotron 3.5内容安全
事件专题
推荐理由：企业部署 AI 最头疼的就是内容安全合规，NVIDIA 这个模型直接让企业按自己的政策微调安全过滤规则，做 AI 应用落地的团队值得关注。
原文
6月4日
23:12
23:12Philipp Schmid@_philschmid
72°
Google 昨日发布 Gemma 4 12B 模型，并附有详细架构图解。该模型创新性地移除了视觉和音频编码器，仅用一个 12B 参数模型即可处理文本、图像和音频，无需独立的编码器模块。图解展示了编码器通常如何连接模态与大语言模型，以及 Gemma 4 如何通过单一模型实现多模态理解。这一设计简化了模型结构，降低了部署复杂度，对多模态 AI 研究者和开发者具有重要参考价值。
AI模型Gemma 4多模态模型架构
事件专题
推荐理由：多模态模型架构的一次简化尝试，做模型部署或边缘推理的团队值得看看图解，理解无编码器方案如何降低资源开销。
原文
23:01
23:01官方账号阶跃星辰 Stepfun@Stepfun_AI
阶跃星辰的 Step 3.7 Flash 模型已在 Fireworks AI 平台上线。该模型从设计之初就针对推理优化，采用硬件友好的架构和 MTP 辅助解码技术，推理速度可达每秒 400 tokens。Step 3.7 Flash 支持多模态输入，适合在真实工作流中驱动智能体。这一发布为开发者提供了高性能、低延迟的模型选择，尤其适合需要快速响应的应用场景。
AI模型推理模型多模态阶跃星辰
事件专题
推荐理由：Step 3.7 Flash 以 400 tokens/s 的速度刷新了推理效率，做实时 AI 应用或智能体开发的团队可以直接在 Fireworks AI 上试用，省去自建推理基础设施的麻烦。
原文
20:43
16:44
13:01
13:01官方账号阶跃星辰 Stepfun@Stepfun_AI
精选
StepFun 发布 Step 3.7 Flash 模型，主打高智能与高速度的平衡。该模型采用 MTP 辅助解码技术，输出速度超过 400 tokens/s，具备更强的智能体性能和原生多模态能力。模型权重以 Apache 2.0 协议开源，适合生产级智能体工作负载。独立评测者 @ArtificialAnlys 对其进行了详细评估。
AI模型推理模型开源/仓库智能体
推荐理由：做智能体应用或需要高吞吐推理的团队，Step 3.7 Flash 的开源高速度方案值得直接拿来用，尤其适合生产环境部署。
原文
12:18
12:18小互@imxiaohu
78°
Google 发布了 Gemma 4 12B 开源模型，采用无编码器架构，能直接处理文字、图像、音频和视频四种输入，无需传统视觉或音频编码器。该模型可在 16GB 显存的笔记本上运行，4-bit 量化后仅需 8GB 显存。支持 256K Token 上下文窗口、140 多种语言，并内置逐步推理和原生函数调用功能。这一架构创新降低了多模态 AI 的硬件门槛，让普通用户也能在本地运行全模态模型。
AI模型Gemma 4开源模型多模态
事件专题
推荐理由：无编码器架构让多模态模型不再依赖专用编码器，16GB 笔记本就能跑全模态 AI，做本地 AI 应用或边缘计算的开发者可以直接试试。
原文
11:44
10:34
10:34官方账号arXiv cs.AI@Jingyuan Chen, Sheng Jin, Haopeng Sun, Wentao Liu, Chen Qian
UniCAD 是一个面向计算机辅助设计（CAD）的多模态学习基准，涵盖点云到CAD重建、文本/图像到CAD生成以及CAD问答等任务。同时提出的 UniCAD-MLLM 是一个通用多模态大语言模型，能端到端处理文本、图像、草图和点云，在单一框架内完成异构任务。实验表明，UniCAD-MLLM 在 UniCAD 和 Fusion360 基准上均达到最先进水平，超越现有任务专用和多任务基线。该工作填补了CAD领域缺乏统一多模态基准的空白，将开源数据集、代码和预训练模型。
论文CAD多模态基准
推荐理由：CAD 研究者终于有了统一的多模态基准和通用模型，做3D设计、CAD生成或问答的团队可以直接用 UniCAD-MLLM 替代多个专用模型，建议关注开源资源。
原文
10:19
10:19berryxia@berryxia
78°
OpenMOSS团队发布开源模型MOSS-Audio，首次将语音、音乐和环境音统一建模，实现音频语言统一。该模型能同时转录语音、识别环境音、理解音乐情绪，并生成文本描述或执行下游任务。它登顶Hugging Face Trending第一，代码和模型权重完全开源可商用。这颠覆了音频AI作为视觉/文本附属品的认知，让普通开发者能本地搭建音频Agent。开源社区在音频多模态领域的速度和开放度已领先闭源方案。
AI模型开源/仓库音频模型多模态
推荐理由：做音频Agent或播客工具的开发者终于不用在闭源高价和割裂方案间纠结——MOSS-Audio一个模型搞定语音+声音+音乐，直接本地跑，建议立刻拉下来试试。
原文
10:00
04:27
04:27官方账号Decoder@Matthias Bastian
78°
Google DeepMind 发布了 Gemma 4 12B 开源模型，原生支持文本、图像和音频处理，仅需 16GB 内存即可在笔记本上运行。该模型在基准测试中几乎与两倍大小的 26B 模型持平，并采用 Apache 2.0 许可证，允许商业使用。这标志着多模态 AI 在消费级硬件上的重大突破，降低了开发者和企业的使用门槛。
AI模型多模态开源/仓库Gemma 4
事件专题
推荐理由：多模态模型终于能跑在普通笔记本上了，做本地 AI 应用或边缘计算的开发者可以直接下载试试，性能还接近两倍大的模型。
原文
04:12
04:12HeyGen@HeyGen_Official
HeyGen 与 Google DeepMind 将于6月11日在洛杉矶联合举办一场线下活动，主题聚焦智能体、多模态应用和创意工具。活动内容包括产品演示、交流讨论，并开放闪电演示名额，邀请有创新项目的团队或个人参与。这是两家 AI 领域知名公司首次公开合作举办社区活动，旨在促进前沿 AI 技术的实践与交流。
行业HeyGenGoogle DeepMind智能体
推荐理由：做 AI 应用和智能体开发的团队别错过——HeyGen 和 DeepMind 首次线下联办，有机会展示你的项目、直接和两家团队交流，闪电演示名额开放中，建议有 demo 的立刻报名。
原文
01:54
01:28
01:28官方账号SiliconFlowAI@siliconflowai
83°
MiniMax 最新开源模型 M3 已在 SiliconFlow 平台上线，首周提供 50% 折扣。M3 是首个同时具备编码与智能体能力、1M 上下文窗口和原生多模态的开源模型。在 SWE-Bench Pro 基准测试中，M3 的编码能力超越了 GPT-5.5 和 Gemini 3.1 Pro。其 1M 上下文窗口通过 MiniMax 稀疏注意力技术实现，原生多模态支持图像、视频和计算机使用。定价方面，缓存/输入/输出分别为每百万 token 0.06/0.30/1.20 美元，折扣后性价比突出。
AI模型MiniMaxM3开源模型
推荐理由：M3 把编码、长上下文和多模态三合一开源了，做 AI 应用开发的团队可以直接在 SiliconFlow 上低成本试用，编码能力还超过了 GPT-5.5，值得上手体验。
原文
01:18
00:31
00:31官方账号阶跃星辰 Stepfun@Stepfun_AI
Step 3.7 Flash 模型专为真实世界的智能体编程任务设计，不仅追求代码生成速度，更注重在复杂输出中保持逻辑、视觉和执行的一致性。该模型在演示中展示了其在多步骤、多模态任务中的连贯性，适合需要高可靠性的编程场景。开发者 @atomic_chat_hq 的创意测试进一步验证了其能力。
AI模型智能体编程助手推理模型
推荐理由：做智能体编程的开发者终于有了一个兼顾速度和一致性的模型——Step 3.7 Flash 在复杂任务中保持逻辑连贯，值得在真实项目中试试。
原文
6月3日
10:17
10:17官方账号arXiv cs.AI@Senjie Jin, Peixin Wang, Boyang Liu, Xiaoran Fan, Shuo Li, Zhiheng Xi, Jiazheng Zhang, Yuhao Zhou, Tao Gui, Qi Zhang, Xuanjing Huang
精选
研究发现，在视觉推理任务中，仅依赖令牌级熵进行强化学习（RLVR）会失效，因为视觉敏感但熵低的令牌被忽略。现有多模态RL方法要么缺乏系统视觉度量，要么忽视熵主要驱动语义探索。为此，研究者提出VEPO框架，通过视觉敏感性与令牌熵的乘法耦合，将梯度信用分配给同时具备视觉基础和高信息量的令牌。实验表明，VEPO在7B和3B规模上分别比熵基线提升2.28和3.15个百分点，消融实验验证了方法的有效性。
论文强化学习视觉推理令牌选择
推荐理由：视觉推理强化学习一直缺乏有效的信用分配机制，VEPO解决了这个痛点——做多模态RL的团队可以直接参考这个框架，在视觉-语义交叉场景中提升模型表现。
原文
04:40
04:40官方账号Together AI@togethercompute
76°
MiniMax-M3 是一款结合了 1M 上下文窗口、原生多模态能力和 MiniMax 稀疏注意力机制的新模型。Together 的推理和内核团队通过 KV-block-major 稀疏注意力、分页 MSA 解码、优化索引评分以及 GPU 工作前的多模态预处理，将常见智能体流量下的吞吐量提升了 81-125%。该模型在长上下文和多模态任务上表现出色，适合需要处理大量信息和多种数据类型的应用场景。
AI模型MiniMax-M3稀疏注意力多模态
事件专题
推荐理由：做长上下文和多模态应用的团队可以关注——MiniMax-M3 的稀疏注意力优化让吞吐量提升显著，直接降低推理成本，值得一试。
原文
01:11
6月2日
17:15
17:15官方一手marktechpost@Michal Sutter
83°
阿里Qwen团队在百炼平台推出Qwen3.7-Plus，这是一个多模态智能体模型。它不仅能理解图像和视频，还新增了自主编程、工具调用和深度推理能力。该模型支持视觉理解、复杂推理和自动化迭代，可应用于更广泛的AI任务场景。这标志着阿里在构建全能型AI智能体方面迈出重要一步。
AI模型Qwen3.7-Plus多模态智能体
事件专题
推荐理由：Qwen3.7-Plus把视觉、推理和工具调用整合到一个模型里，做多模态应用的开发者可以直接在百炼平台体验，省去拼接多个模型的麻烦。
原文
11:12
11:12官方账号arXiv cs.AI@Stefano Samele, Eugenio Lomurno, Teodora Jovanovic, Sanjay Shivakumar Manohar, Alberto Crivellaro, Matteo Matteucci
工业异常检测领域近年引入多模态视觉语言模型，声称可通过文本指令实现零样本或少样本检测。但现有评估方法沿用单模态基准，无法验证模型是否真正依赖文本条件。本文提出TGAD结构化基准，通过三个递进场景测试：MVTec AD上的提示敏感性测试、组件级标注扩展、以及新构建的组装面板数据集APD。测试发现，三种代表性模型（生成式大视觉语言模型、无训练判别式、嵌入自适应判别式）均仅表面响应文本指令：移除物体名词后生成模型I-AUROC从97.4降至82.6；组件指令无法约束决策；在APD上图像级判别甚至低于随机水平（最低31.5）。结果表明当前多模态异常检测系统的文本引导能力被高估，需要此类基准才能实现工业部署所需的可靠语言控制。
论文异常检测多模态基准测试
推荐理由：做工业视觉检测的团队会发现，当前号称支持文本引导的模型其实并不听指令——TGAD基准直接戳破了这个泡沫，建议点开看看你的模型是否真的被语言控制。
原文
11:12
11:12官方账号arXiv cs.AI@Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu
网络上有大量多模态、异构、嘈杂的程序性知识，但直接用于智能体执行长周期任务效果不佳。研究者提出 guide-to-skill 学习问题，并发布首个基准 MMG2Skill-Bench。他们设计的闭环框架 MMG2Skill 能将人类指南编译为可编辑技能，在执行时条件化固定视觉语言模型，并通过轨迹级根因反馈持续修正技能。在 GUI 控制、开放游戏和策略卡牌等六个 VLM 骨干上，该方法比基线提升 12.8 到 25.3 个百分点。消融实验表明，直接提示原始指南反而会降低性能，而结构化技能构建和轨迹驱动修正是关键。
论文智能体技能蒸馏多模态
推荐理由：做智能体长任务规划的团队终于有了把网络教程变成可执行技能的方案——MMG2Skill 直接解决了指南与技能之间的鸿沟，做 GUI 自动化或游戏 AI 的开发者可以试试这个闭环框架。
原文
10:58
10:17
09:51
09:32
08:23
08:23Guillermo Rauch@rauchg
76°
MiniMax M3 在 Next.js 智能体评测中成为领先的开源模型，性能仅次于 Opus 和 GPT-5，但成本低 10 倍。这是 MiniMax 首个支持多模态输入的长上下文模型。Vercel 宣布 M3 已上线 AI Gateway，并提供一周 50% 折扣。开发者可以以极低成本获得接近顶级模型的智能体能力。
AI模型MiniMax M3开源模型智能体
事件专题
推荐理由：做 Next.js 智能体开发的团队终于有了高性价比的开源选择——M3 性能接近 Opus 但成本仅 1/10，Vercel 用户现在就能用上，建议立刻试试。
原文
08:14
08:14岚叔@lufzzliz
Qwen3.7-Plus 是通义千问最新推出的多模态模型，延续了 Plus 系列的高性价比特点。该模型不仅支持屏幕读取、网页/移动端/桌面端操作，还能编写代码、调用工具和处理工作流。当前行业趋势正朝向多模态 Agent 发展，Qwen3.7-Plus 在长链路稳定性、工具调用失败恢复以及 GUI 操作权限与审计边界方面有所加强。该模型适合需要构建复杂自动化任务的开发者和团队。
AI模型Qwen3.7-Plus多模态Agent
事件专题
推荐理由：Qwen3.7-Plus 把多模态 Agent 的实用门槛又拉低了一截，做自动化工作流或 GUI 操作的开发者可以直接关注，性价比和功能覆盖都很能打。
原文
06:41
06:41IT之家（博客/媒体）
精选
阿里千问大模型推出 Qwen3.7-Plus，定位为多模态交互混合智能体，在保留文本、编码、工具使用等能力基础上，强化了视觉理解、视觉推理和跨模态任务处理。该模型支持图像、视频、屏幕、网页和文本输入，可在 GUI、CLI 和工具环境中完成复杂软件与办公流程。在 Vision Arena 评测中，阿里凭借该模型进入全球前 5、中国第 1，多模态测试在 BabyVision、MathVision 等基准上提升明显。模型已通过阿里云百炼和 Qwen Studio 提供服务。
AI模型Qwen3.7-Plus多模态智能体
事件专题
推荐理由：Qwen3.7-Plus 把视觉与语言统一到智能体基座，做多模态应用或办公自动化的团队可以直接在百炼上试，能省掉不少模型拼接的麻烦。
原文
04:47
04:47官方一手marktechpost@Asif Razzaq
78°
MiniMax 正式发布新一代大模型 MiniMax M3，采用自研的 MiniMax Sparse Attention（MSA）架构，支持高达 100 万 token 的超长上下文窗口。该模型原生支持图像、视频理解以及计算机使用（computer use）能力，并具备智能体编程（agentic coding）功能。MSA 架构通过稀疏注意力机制显著降低长序列计算成本，使得处理百万级 token 成为可能。这标志着国产大模型在长上下文和多模态融合方面迈出了重要一步，为复杂文档分析、视频理解和自动化编程等场景提供了新的基础设施。
AI模型MiniMaxM3MSA架构
推荐理由：MiniMax M3 的 1M 上下文和原生多模态能力直接解决了长文档分析和视频理解的痛点，做 RAG 应用或自动化编程的团队值得关注其 agentic coding 特性。
原文
01:32
6月1日
21:50
19:05
19:05AI Will@FinanceYF5
72°
Greg Isenberg 分享了基于 GPT Realtime 2.0 的 17 个创业想法，这些想法只有在实时语音模型支持下才能实现。涵盖实时合同谈判、语音交易终端、多语言同传、医疗问诊、现场服务调度、编程助手、拍卖代理、律师证词准备、播客研究、销售教练、房产评估、智能婴儿监护等场景。核心特点是模型能在对话中并行查询多个数据源、理解专业术语、支持 128K 上下文，并可根据任务复杂度调整推理深度。这些想法展示了实时语音 AI 如何将传统需要多步骤、多工具的任务压缩到一次对话中完成。
AI产品GPT Realtime 2.0实时语音创业点子
事件专题
推荐理由：实时语音 AI 终于有了具体可落地的商业场景，做创业或产品经理的可以直接从中找灵感，17 个方向覆盖了从法律到医疗的多个垂直领域，值得收藏研究。
原文
18:53
18:53岚叔@lufzzliz
精选76°
MiniMax 发布新一代旗舰模型 M3，面向 coding agent、长上下文和多模态任务。M3 支持 1M 上下文，核心技术创新是 MiniMax Sparse Attention (MSA)，通过稀疏注意力将 KV 分块并精确选取相关块，大幅降低长上下文计算成本。在 1M 上下文下，每 token 计算量仅为上一代的 1/20，prefill 提速 9 倍以上，decode 提速 15 倍以上。M3 支持文本、图片、视频输入，将长上下文、工具调用、多模态理解和持续执行能力整合，明确押注 agentic coding 场景。
AI模型MiniMax-M3稀疏注意力长上下文
事件专题
推荐理由：M3 的稀疏注意力解决了长上下文推理的成本痛点，做 coding agent 和自动化任务的开发者可以直接关注——1M 上下文下计算量骤降 95%，意味着更长的任务链也能跑得动。
原文
15:16
15:16官方一手pandaily@contact@pandaily.com (Pandaily)
精选83°
MiniMax 发布了其旗舰模型 M3，声称这是国内首个将前沿编码、智能体能力、100 万 token 上下文窗口和原生多模态处理整合在单一架构中的 AI 模型。M3 模型在多项基准测试中表现出色，尤其在长文本理解和复杂任务执行方面。该模型支持同时处理文本、图像、音频等多种输入，并具备强大的代码生成和工具调用能力。MiniMax 表示 M3 旨在为开发者和企业提供更高效、更全面的 AI 解决方案。
AI模型MiniMaxM3多模态
推荐理由：MiniMax M3 将 1M 上下文、多模态和智能体能力打包进一个模型，做长文本处理或多模态应用的开发者可以直接用它替代多个模型组合，省心又高效。
原文
14:50
14:50官方一手歸藏(guizang.ai)@op7418
精选76°
MiniMax 正式发布大版本模型升级 MiniMax M3，核心亮点包括标配 1M 超长上下文、采用新的 MSA（MoE with Segment-wise Attention）稀疏注意力架构，以及从训练起就融合了文本、图片、视频和桌面操作的原生多模态能力。MSA 架构在 100 万上下文下每 token 计算量仅为上一代的约 1/20，大幅提升可落地性。API 价格同步更新，小于 512k 的 API 限时五折（7 天）。模型权重和技术报告将在约 10 天后开源。
AI模型MiniMax M3长上下文稀疏注意力
事件专题
推荐理由：MiniMax M3 把长上下文、稀疏注意力和多模态融合做到了一个模型里，而且计算效率大幅提升，做 Agent 开发、多模态应用或长文档处理的团队可以直接用 API 试试，价格也很友好。
原文
11:17
11:17IT之家（博客/媒体）
上海市人民政府办公厅印发《上海市服务业发展“十五五”规划》，明确提出支持多模态智能体开发与应用，推动智能客服、智能运营等工具规模化。规划还强调有序推进智能驾驶在共享出行、物流运输等多场景应用，并聚焦AI软件技术、具身智能、智算云服务等领域。该规划旨在到2030年服务业增加值达6万亿元，打造全球服务资源配置枢纽。对AI从业者和企业而言，这意味着上海将提供政策支持和场景落地机会。
行业智能体多模态智能驾驶
推荐理由：上海明确将多模态智能体和智能驾驶列为重点方向，做AI应用和自动驾驶的团队可以提前布局政策红利场景。
原文
11:12
11:12OpenRouter@OpenRouterAI
精选76°
MiniMax 发布了 M3 模型，这是首个同时具备编码、智能体与多模态能力的开源权重模型。在 SWE-Bench Pro 上达到 59.0%，Terminal Bench 2.1 上 66.0%，并支持 1M 上下文窗口。模型原生多模态，从零开始训练，权重和技术报告将在约 10 天后公开。API 已上线 platform.minimax.io，并提供 MiniMax Code 工具。
AI模型MiniMaxM3开源模型
推荐理由：MiniMax M3 把编码、智能体和多模态三个前沿能力打包进一个开源模型，做 AI 应用开发或智能体研究的团队可以直接用 API 体验，值得关注即将开源的权重。
原文