AITOP

多模态

共 747 条相关 AI 资讯 · 查看话题观测
6月13日
13:23
13:16
13:05
11:02
10:58
10:55
10:53
10:40
10:02
09:47
6月12日
22:18
22:18官方账号LMSYS Org (SGLang)@lmsysorg
73°
SGLang 宣布 Day-0 支持 MiniMax-M3，这是 MiniMax 推出的原生多模态 MoE 推理模型，总参数量约 428B（活跃参数约 23B），支持文本、图像和视频的融合处理。M3 采用 MiniMax 稀疏注意力机制，在 1M 上下文下相比 M2 实现 9 倍预填充和 15 倍解码加速，每 token 计算量降至 1/20。该模型在编码和协作任务上达到前沿智能体性能，并原生支持 NVIDIA Blackwell 和 AMD MI350X/MI355X 上的 MXFP8 格式。开发者可通过 SGLang 立即运行该模型。
AI模型SGLangMiniMax-M3多模态
事件专题
推荐理由：SGLang 第一时间支持 MiniMax-M3，做多模态推理和长上下文应用的团队可以直接上手体验 428B 模型的稀疏注意力加速，编码和智能体任务表现值得一试。
原文
15:45
13:35
12:33
12:33官方账号Mira Murati (TML)@miramurati
Mira Murati 在X上发文强调，协作AI的核心在于实时交互，机器与人需跨所有模态协同工作。她指出解决这一挑战需要社区共同努力，并邀请大家加入。这反映了AI发展从单机智能向人机协作生态的转变，强调多模态实时交互的重要性。
行业协作AI实时交互多模态
推荐理由：关注人机协作未来的开发者，这条信息点明了AI的下一个关键方向——实时多模态交互，值得思考如何参与其中。
原文
12:31
12:31karminski-牙医 (AI工具)@karminski3
该模型新增多模态输入功能，支持文本、图片和视频等多种数据格式。这一更新显著扩展了模型的应用场景，使其能够处理更丰富的输入类型。对于需要综合处理多种媒体信息的用户来说，这是一个重要的功能升级。
AI模型多模态模型更新文本
推荐理由：多模态输入让模型能处理图片和视频，做内容分析或创意工作的团队可以直接用起来，效率提升明显。
原文
12:02
10:49
10:49官方账号arXiv cs.AI@Zongsheng Cao, Bihao Zhan, Jinxin Shi, Jiong Wang, Fangchen Yu, Zhijie Zhong, Zijie Guo, Tianshuo Peng, Zhuo Liu, Yi Xie, Xiang Zhuang, Yue Fan, Runmin Ma, Shiyang Feng, Xiangchao Yan, Anran Liu, Peng Ye, Wenlong Zhang, Shufei Zhang, Chunfeng Song, Fenghua Ling, Jie Zhou, Liang He, Bo Zhang, Lei Bai
Agents-K1 是一个端到端的科学知识编排管线，能将原始论文转化为智能体可用的科学知识图谱。它包含多模态解析器、基于 GRPO 训练的 4B 信息提取模型和统一接口 CLI，覆盖实体、多模态证据、引用和关系。团队用该管线处理了 246 万篇论文，构建了 Scholar-KG 数据集，并开源了其中 100 万篇子集。实验表明，Agents-K1 在科学信息提取、知识图谱构建和多跳推理上表现优异。
论文知识图谱科学信息提取Agents-K1
推荐理由：做科学知识图谱或文献挖掘的团队可以直接用这个开源管线，省去自己设计抽取流程的麻烦，尤其适合需要跨论文推理的科研场景。
原文
01:05
00:53
00:24
00:24官方账号SiliconFlowAI@siliconflowai
精选
Google DeepMind 的 Gemma 4 12B 模型已在 SiliconFlow 平台上线，支持 262K 上下文、内置思考、原生工具调用及 140+ 语言。该模型采用无编码器架构，视觉和音频输入直接进入 LLM 主干，降低处理延迟。12B 参数规模但拥有 26B 的“大脑”性能，接近 Google 26B 模型的表现，在多步推理和智能体工作流中表现出色。定价为输入/输出每百万 tokens 0.1/0.3 美元，性价比突出。
AI模型Gemma 4智能体多模态
事件专题
推荐理由：做智能体、长上下文或多模态应用的开发者终于有了一个模型搞定三件事的选择——Gemma 4 12B 在 SiliconFlow 上价格亲民，建议直接上手试试。
原文
6月11日
17:21
17:21IT之家（博客/媒体）
金山办公在“WPS AI Next”活动中发布了 AI 原生多模态笔记产品——WPS 笔记。该产品摒弃传统笔记“用户整理、工具存储”的旧范式，将 AI 能力贯穿从记录到复用的全过程。它支持语音、图片、文字、网页等多模态录入，具备实时转写与 AI 纠正、多级 AI 自动标签、全域多模态检索等功能。此外，WPS 笔记还内置 WPS 灵犀助手，并支持外部 MCP 接入，让笔记成为 AI 应用的知识入口。体验者认为，WPS 笔记重构了笔记应用的设计逻辑，真正实现了知识的无缝流动。
AI产品WPS 笔记AI 笔记多模态
推荐理由：WPS 笔记用 AI 解决了传统笔记“存了难找、整理费时”的痛点，做知识管理、会议记录、学习整理的人可以直接上手，省去手动分类和检索的麻烦。
原文
12:32
12:32官方账号arXiv cs.AI@Litao Li, Yibo Yu, Yufeng Hu, Zhuo Yang, Jiali Wen, Yixin Chen, Yixi Zhou
精选
本文提出了针对2026年SoccerNet VQA挑战赛的解决方案。研究团队首先开发了一种由视觉语言模型驱动的低成本数据合成流程，将原始领域数据系统性地转化为多样化的VQA样本，包括简洁答案和长文本回答。其次，提出了MSUE架构，这是一种多专家问答架构，利用大语言模型动态地将问题分配给文本、图像和视频专家。这些专家分别由强大的文本基线Gemini3-Flash、微调的Qwen3-VL和外部知识库实例化，协同工作以提升VQA性能。MSUE在挑战基准上达到了0.95的准确率，在排行榜上获得第三名。
论文多模态VQA足球分析
推荐理由：足球视频分析团队和体育AI研究者可以借鉴其低成本数据合成和多专家协作架构，直接提升VQA任务的准确率，值得关注。
原文
09:51
09:51官方账号arXiv cs.AI@Shang Ma, Jisheng Dang, Wencan Zhang, Yifan Zhang, Bimei Wang, Hong Peng, Bin Hu, Qi Tian, Tat-Seng Chua
精选
研究者提出了一种名为 MODF-SIR 的多智能体协作框架，基于轻量级多模态大语言模型，专门用于社交智能推理。该框架通过知识蒸馏增强训练和推理阶段，能够精确定位多模态社交数据，并提取长尾事件以格式化文本呈现，避免关键信息被噪声淹没。它集成了测试时自适应（TTA）、思维链提示和自反思机制，并利用 LoRA 微调基础模型。在多个基准测试中，仅用约 30% 的训练数据就达到了最先进的结果。代码、演示和模型均已开源。
论文多智能体知识蒸馏社交智能推理
推荐理由：社交智能推理是 AI 理解人类互动的关键，MODF-SIR 用轻量模型和蒸馏技术解决了长尾事件被忽略的痛点，做多模态社交分析或人机交互的团队可以直接用开源代码复现。
原文
09:42
09:42AI Will@FinanceYF5
Claude Fable 5 发布仅一天，用户就展示了其惊人的多领域应用能力，包括模拟单行道红绿灯系统、生成麦肯锡级别的商业报告、从零搭建类似 Replit 的编程环境、设计类人机器人、构建完整品牌以及克隆宝可梦游戏。这些案例表明该模型在复杂任务模拟和创意生成方面有显著突破，远超传统 AI 助手的边界。对于开发者、产品经理和创意工作者来说，Fable 5 可能成为新一代全能型 AI 工具。
AI产品ClaudeFable 5多模态
事件专题
推荐理由：Claude Fable 5 一天内被玩出花，从红绿灯模拟到品牌搭建，做产品原型和创意验证的团队值得看看它到底多能打。
原文
04:47
6月10日
17:54
14:13
11:07
10:07
10:07官方账号arXiv cs.AI@Peiqi Jia, Haonan Jia, Ziqi Miao, Linkang Du, Yuntao Wang, Zhou Su
精选
该论文首次在视觉语言模型（MLLMs）中引入显式人格条件，建立了涵盖单人格诱导、多人格诱导和人格切换的系统评估框架。实验发现，人格诱导能提升图像描述性能，但会损害需要精确推理的任务（如视觉问答）。多人格组合和动态切换时存在平衡与残留效应，模型行为受前后人格约束共同调节。现有基于提示的人格诱导方法在多模态场景下迁移性有限。研究揭示了MLLMs人格建模的动态复杂性，呼吁开发更鲁棒、定制化的方法。
论文视觉语言模型人格建模多模态
推荐理由：做多模态AI行为控制或社交机器人开发的团队，这篇论文揭示了人格诱导对推理能力的意外损害，值得在模型部署前仔细评估。
原文
09:10
09:10官方一手arXiv: DeepSeek@ Kwai Keye Team, Bin Wen, Changyi Liu, Chengru Song, Chongling Rao, Guowang Zhang, Han Li, Haonan Fan, Hengrui Ju, Jiankang Chen, Jiapeng Chen, Jiawei Yuan, Kaixuan Yang, Kaiyu Jiang, Kun Gai, Lingzhi Zhou, Na Nie, Sen Na, Tianke Zhang, Tingting Gao, Xuanyu Zheng, Yulong Chen, Fan Yang, Haixuan Gao, Lele Yang, Mingqiao Liu, Muxi Diao, Qi Zhang, Qile Su, Wei Chen, Wentao Hong, Xingyu Lu, Yancheng Long, Yankai Yang, Yingxin Li, Yiyang Fan, Yu Xia, Yuzhe Chen, Ziliang Lai, Chuan Yi, Haonan Jia, Tianming Liang, Weixin Xu, Xiaoxiao Ma, Yang Tian, Yufei Han, Feng Han, Hang Li, Jing Wang, Jinghui Jia, Junmin Chen, Junyu Shi, Ruilin Zhang
精选76°
快手发布Keye-VL-2.0-30B-A3B，一个基于MoE架构的开源多模态基础模型，专为长视频理解和智能体场景设计。该模型首次将DeepSeek Sparse Attention适配到GQA架构，实现无损256K上下文处理，能捕捉关键帧和长程时序依赖。通过跨模态多教师策略蒸馏（MOPD）和上下文/视频强化学习，解决了多任务对齐中的灾难性遗忘问题，仅激活3B参数即可在代码、工具和搜索场景中实现智能体协作与多模态自我纠正。在视频理解、时序定位、推理、STEM和智能体基准测试中，Keye-VL-2.0在相似规模模型中达到最优性能，尤其在TimeLens细粒度时序定位和Video-MME-v2长视频理解上表现突出。模型权重已开源。
AI模型开源/仓库MoE长视频理解
推荐理由：长视频理解和智能体场景的开发者终于有了一个开源且高效的MoE模型——Keye-VL-2.0仅激活3B参数就能处理256K上下文，做视频分析或智能体应用的团队可以直接下载权重试试。
原文
03:42
03:42lmarena.ai@lmarena_ai
Claude Fable 5 模型现已加入 LMSYS Chatbot Arena 的多个评测赛道，包括文本、视觉、文档和代码前端竞技场。用户可以通过对战模式投票，为排行榜贡献数据。该模型在 agent 场景下的表现也值得关注。评测入口已开放，开发者可前往 arena.ai/agent 体验。
AI模型Claude Fable 5LMSYS 竞技场模型评测
事件专题
推荐理由：Claude Fable 5 进入主流评测平台，做模型选型或 Agent 开发的团队可以直接在真实场景中对比它的表现，建议去 arena 投几票。
原文
01:12
01:08
00:09
6月9日
22:18
22:18Hunyuan@TXhunyuan
72°
腾讯混元开源了UniRL，一个统一的多模态强化学习训练框架。它用一个循环（生成→评分→优势计算→更新→同步）覆盖文本、图像、视频等多种模态，模型和算法作为独立轴，实现模型×算法的组合覆盖。内置FlowDPPO和DRPO两种原创算法，分别针对扩散模型和LLM的强化学习优化。支持可插拔的rollout引擎、FSDP2分片和三种部署模式，旨在解决现有RL栈只能处理单一模态的问题。
AI产品腾讯混元UniRL多模态
推荐理由：做多模态RL训练的团队终于有了一个能统一处理文本、图像、视频的框架，不用再为每种模态搭不同的栈。腾讯混元把自家模型验证过的FlowDPPO和DRPO算法也开源了，做扩散模型或LLM RL优化的可以直接拿来用。
原文
15:16
15:16AI Will@FinanceYF5
Google 在 Gemini Live 中新增了图像创建和编辑功能，用户可以在使用 Gemini 应用时实时生成或修改图像。该功能通过实时摄像头共享实现，用户可以向 Gemini 展示正在观看的内容，并即时要求其创建、调整或解释视觉内容。这一更新将 Gemini 从纯文本助手扩展为多模态交互工具，提升了实时视觉处理的实用性。目前该功能已上线，适用于支持 Gemini Live 的设备。
AI产品GoogleGemini Live实时图像生成
推荐理由：实时图像生成与编辑让 Gemini 成为更强大的多模态助手，适合需要即时视觉创作或修改的用户，比如设计师、内容创作者和日常用户，建议打开 Gemini 试试这个新功能。
原文
11:01
11:01官方账号arXiv cs.AI@Luciano Duarte, Olga Ovcharenko, Sebastian Schelter
精选
数据库社区缺乏结合表格、文本和图像的大规模真实数据集。研究者从大都会艺术博物馆、芝加哥艺术博物馆和荷兰国立博物馆收集了651045条博物馆记录，构建了多模态文化遗产数据集ArtiFact。该数据集包含130209条注入七类错误（如材料时代错乱、时间偏移）的记录，用于跨模态错误检测任务。实验表明，当前系统难以检测领域特定的细微错误，且在语义查询处理中，对文化邻近性、模糊对象类型和历史术语的查询表现不佳。ArtiFact为多模态数据管理研究提供了具有挑战性的基准。
论文多模态数据集/基准文化遗产
推荐理由：做多模态数据管理、文化遗产数字化或数据质量研究的团队，这个真实世界的大规模基准能帮你测试模型在细粒度错误检测和语义查询上的真实水平，值得跑一跑。
原文
10:38
10:38官方账号arXiv cs.AI@Jonathan F. Carter, Lionel Tarassenko
精选
该研究提出 Hypnos，一个多模态睡眠基础模型，使用来自 2 万多次夜间多导睡眠监测的 8 种传感模态（如 EEG、ECG、呼吸信号）训练。与现有使用掩码重建或对比学习的方法不同，Hypnos 采用下一词预测作为自监督目标，通过残差向量量化将每种模态离散化为 token 流，并用自回归 RQ-Transformer 并行预测所有模态的下一个 token。在睡眠阶段分类任务中，Hypnos 仅用 1% 的标注数据就达到了强监督基线的性能，还能泛化到日间生理信号，在检测房颤上超越专门的 ECG 基础模型。结果表明，下一词预测是多模态生理信号表征学习的有效且可扩展的自监督目标。
论文基础模型睡眠生理学多模态
推荐理由：睡眠医学和生理信号分析的研究者终于有了一个无需大量标注数据就能学到通用表征的基础模型——Hypnos 用下一词预测解决了多模态生理数据的学习难题，做睡眠分期或房颤检测的团队可以直接用它生成嵌入，大幅降低标注成本。
原文
09:36
09:36官方账号arXiv cs.AI@Xuanyi Liu, Deyi Ji, Junyu Lu, Jing Wang, Qianxiong Xu, Xuhang Chen, Tianrun Chen, Siwei Ma
精选
FaithRewriter 是一种新的提示增强框架，旨在解决文生图模型中用户意图与生成结果之间的差距。现有方法主要优化提示的流畅性和可读性，但缺乏视觉基础，容易过度推断缺失细节。FaithRewriter 首先利用多模态大模型根据原始提示生成中间图像作为视觉线索，然后将该图像与提示结合输入大规模语言模型，生成视觉上更合理的增强内容。最后，这些增强内容被蒸馏到小规模语言模型中实现高效部署。实验表明，FaithRewriter 生成的提示更忠实于用户意图，视觉上更合理，有效缩小了意图-生成差距。
论文文生图提示增强FaithRewriter
推荐理由：做文生图应用或研究的人会关心——FaithRewriter 用视觉锚点解决了提示重写中的过度推断问题，生成的提示更贴近用户真实意图，值得在项目中尝试集成。
原文
6月8日
20:42
20:42IT之家（博客/媒体）
字节跳动旗下火山引擎宣布 Agent Plan 和 Coding Plan 限时优惠，即日起至 2026 年 8 月 27 日，新购或续费 40 元、200 元档位可享首两个月 2.5 折，最低 9.9 元/月。两个套餐均集成 MiniMax M3、DeepSeek V4、GLM-5.1 等前沿模型，Agent Plan 还内置字节自研多模态模型和 Harness 工具。这是业界首个“Agent 套餐包”，旨在降低企业使用 AI 智能体和编程助手的门槛。优惠力度大，适合开发者和小团队低成本体验。
AI产品智能体编程助手火山引擎
事件专题
推荐理由：火山引擎把 AI 智能体和编程助手的价格打到了 9.9 元起，做开发或自动化的小团队可以直接薅羊毛，首两个月 2.5 折值得冲。
原文