AITOP

多模态

共 335 条相关 AI 资讯 · 查看话题观测
6月12日
13:35
12:33
12:31
12:02
10:49
10:49官方账号arXiv cs.AI@Zongsheng Cao, Bihao Zhan, Jinxin Shi, Jiong Wang, Fangchen Yu, Zhijie Zhong, Zijie Guo, Tianshuo Peng, Zhuo Liu, Yi Xie, Xiang Zhuang, Yue Fan, Runmin Ma, Shiyang Feng, Xiangchao Yan, Anran Liu, Peng Ye, Wenlong Zhang, Shufei Zhang, Chunfeng Song, Fenghua Ling, Jie Zhou, Liang He, Bo Zhang, Lei Bai
Agents-K1 是一个端到端的科学知识编排管线，能将原始论文转化为智能体可用的科学知识图谱。它包含多模态解析器、基于 GRPO 训练的 4B 信息提取模型和统一接口 CLI，覆盖实体、多模态证据、引用和关系。团队用该管线处理了 246 万篇论文，构建了 Scholar-KG 数据集，并开源了其中 100 万篇子集。实验表明，Agents-K1 在科学信息提取、知识图谱构建和多跳推理上表现优异。
论文知识图谱科学信息提取Agents-K1Scholar-KG多模态
推荐理由：做科学知识图谱或文献挖掘的团队可以直接用这个开源管线，省去自己设计抽取流程的麻烦，尤其适合需要跨论文推理的科研场景。
原文
01:05
00:53
00:24
6月11日
17:21
17:21IT之家（博客/媒体）
金山办公在“WPS AI Next”活动中发布了 AI 原生多模态笔记产品——WPS 笔记。该产品摒弃传统笔记“用户整理、工具存储”的旧范式，将 AI 能力贯穿从记录到复用的全过程。它支持语音、图片、文字、网页等多模态录入，具备实时转写与 AI 纠正、多级 AI 自动标签、全域多模态检索等功能。此外，WPS 笔记还内置 WPS 灵犀助手，并支持外部 MCP 接入，让笔记成为 AI 应用的知识入口。体验者认为，WPS 笔记重构了笔记应用的设计逻辑，真正实现了知识的无缝流动。
AI产品WPS 笔记AI 笔记多模态知识管理MCP/工具
推荐理由：WPS 笔记用 AI 解决了传统笔记“存了难找、整理费时”的痛点，做知识管理、会议记录、学习整理的人可以直接上手，省去手动分类和检索的麻烦。
原文
12:32
12:32官方账号arXiv cs.AI@Litao Li, Yibo Yu, Yufeng Hu, Zhuo Yang, Jiali Wen, Yixin Chen, Yixi Zhou
精选
本文提出了针对2026年SoccerNet VQA挑战赛的解决方案。研究团队首先开发了一种由视觉语言模型驱动的低成本数据合成流程，将原始领域数据系统性地转化为多样化的VQA样本，包括简洁答案和长文本回答。其次，提出了MSUE架构，这是一种多专家问答架构，利用大语言模型动态地将问题分配给文本、图像和视频专家。这些专家分别由强大的文本基线Gemini3-Flash、微调的Qwen3-VL和外部知识库实例化，协同工作以提升VQA性能。MSUE在挑战基准上达到了0.95的准确率，在排行榜上获得第三名。
论文多模态VQA足球分析SoccerNet大语言模型
推荐理由：足球视频分析团队和体育AI研究者可以借鉴其低成本数据合成和多专家协作架构，直接提升VQA任务的准确率，值得关注。
原文
09:51
09:51官方账号arXiv cs.AI@Shang Ma, Jisheng Dang, Wencan Zhang, Yifan Zhang, Bimei Wang, Hong Peng, Bin Hu, Qi Tian, Tat-Seng Chua
精选
研究者提出了一种名为 MODF-SIR 的多智能体协作框架，基于轻量级多模态大语言模型，专门用于社交智能推理。该框架通过知识蒸馏增强训练和推理阶段，能够精确定位多模态社交数据，并提取长尾事件以格式化文本呈现，避免关键信息被噪声淹没。它集成了测试时自适应（TTA）、思维链提示和自反思机制，并利用 LoRA 微调基础模型。在多个基准测试中，仅用约 30% 的训练数据就达到了最先进的结果。代码、演示和模型均已开源。
论文多智能体知识蒸馏社交智能推理多模态LoRA
推荐理由：社交智能推理是 AI 理解人类互动的关键，MODF-SIR 用轻量模型和蒸馏技术解决了长尾事件被忽略的痛点，做多模态社交分析或人机交互的团队可以直接用开源代码复现。
原文
09:42
04:47
6月10日
17:54
14:13
11:07
10:07
10:07官方账号arXiv cs.AI@Peiqi Jia, Haonan Jia, Ziqi Miao, Linkang Du, Yuntao Wang, Zhou Su
精选
该论文首次在视觉语言模型（MLLMs）中引入显式人格条件，建立了涵盖单人格诱导、多人格诱导和人格切换的系统评估框架。实验发现，人格诱导能提升图像描述性能，但会损害需要精确推理的任务（如视觉问答）。多人格组合和动态切换时存在平衡与残留效应，模型行为受前后人格约束共同调节。现有基于提示的人格诱导方法在多模态场景下迁移性有限。研究揭示了MLLMs人格建模的动态复杂性，呼吁开发更鲁棒、定制化的方法。
论文视觉语言模型人格建模多模态行为控制评估框架
推荐理由：做多模态AI行为控制或社交机器人开发的团队，这篇论文揭示了人格诱导对推理能力的意外损害，值得在模型部署前仔细评估。
原文
09:10
09:10官方一手arXiv: DeepSeek@ Kwai Keye Team, Bin Wen, Changyi Liu, Chengru Song, Chongling Rao, Guowang Zhang, Han Li, Haonan Fan, Hengrui Ju, Jiankang Chen, Jiapeng Chen, Jiawei Yuan, Kaixuan Yang, Kaiyu Jiang, Kun Gai, Lingzhi Zhou, Na Nie, Sen Na, Tianke Zhang, Tingting Gao, Xuanyu Zheng, Yulong Chen, Fan Yang, Haixuan Gao, Lele Yang, Mingqiao Liu, Muxi Diao, Qi Zhang, Qile Su, Wei Chen, Wentao Hong, Xingyu Lu, Yancheng Long, Yankai Yang, Yingxin Li, Yiyang Fan, Yu Xia, Yuzhe Chen, Ziliang Lai, Chuan Yi, Haonan Jia, Tianming Liang, Weixin Xu, Xiaoxiao Ma, Yang Tian, Yufei Han, Feng Han, Hang Li, Jing Wang, Jinghui Jia, Junmin Chen, Junyu Shi, Ruilin Zhang
精选76°
快手发布Keye-VL-2.0-30B-A3B，一个基于MoE架构的开源多模态基础模型，专为长视频理解和智能体场景设计。该模型首次将DeepSeek Sparse Attention适配到GQA架构，实现无损256K上下文处理，能捕捉关键帧和长程时序依赖。通过跨模态多教师策略蒸馏（MOPD）和上下文/视频强化学习，解决了多任务对齐中的灾难性遗忘问题，仅激活3B参数即可在代码、工具和搜索场景中实现智能体协作与多模态自我纠正。在视频理解、时序定位、推理、STEM和智能体基准测试中，Keye-VL-2.0在相似规模模型中达到最优性能，尤其在TimeLens细粒度时序定位和Video-MME-v2长视频理解上表现突出。模型权重已开源。
AI模型开源/仓库MoE长视频理解智能体多模态
推荐理由：长视频理解和智能体场景的开发者终于有了一个开源且高效的MoE模型——Keye-VL-2.0仅激活3B参数就能处理256K上下文，做视频分析或智能体应用的团队可以直接下载权重试试。
原文
03:42
01:12
01:08
00:09
6月9日
22:18
22:18Hunyuan@TXhunyuan
72°
腾讯混元开源了UniRL，一个统一的多模态强化学习训练框架。它用一个循环（生成→评分→优势计算→更新→同步）覆盖文本、图像、视频等多种模态，模型和算法作为独立轴，实现模型×算法的组合覆盖。内置FlowDPPO和DRPO两种原创算法，分别针对扩散模型和LLM的强化学习优化。支持可插拔的rollout引擎、FSDP2分片和三种部署模式，旨在解决现有RL栈只能处理单一模态的问题。
AI产品腾讯混元UniRL多模态强化学习开源/仓库
推荐理由：做多模态RL训练的团队终于有了一个能统一处理文本、图像、视频的框架，不用再为每种模态搭不同的栈。腾讯混元把自家模型验证过的FlowDPPO和DRPO算法也开源了，做扩散模型或LLM RL优化的可以直接拿来用。
原文
15:16
11:01
11:01官方账号arXiv cs.AI@Luciano Duarte, Olga Ovcharenko, Sebastian Schelter
精选
数据库社区缺乏结合表格、文本和图像的大规模真实数据集。研究者从大都会艺术博物馆、芝加哥艺术博物馆和荷兰国立博物馆收集了651045条博物馆记录，构建了多模态文化遗产数据集ArtiFact。该数据集包含130209条注入七类错误（如材料时代错乱、时间偏移）的记录，用于跨模态错误检测任务。实验表明，当前系统难以检测领域特定的细微错误，且在语义查询处理中，对文化邻近性、模糊对象类型和历史术语的查询表现不佳。ArtiFact为多模态数据管理研究提供了具有挑战性的基准。
论文多模态数据集/基准文化遗产错误检测语义查询
推荐理由：做多模态数据管理、文化遗产数字化或数据质量研究的团队，这个真实世界的大规模基准能帮你测试模型在细粒度错误检测和语义查询上的真实水平，值得跑一跑。
原文
10:38
10:38官方账号arXiv cs.AI@Jonathan F. Carter, Lionel Tarassenko
精选
该研究提出 Hypnos，一个多模态睡眠基础模型，使用来自 2 万多次夜间多导睡眠监测的 8 种传感模态（如 EEG、ECG、呼吸信号）训练。与现有使用掩码重建或对比学习的方法不同，Hypnos 采用下一词预测作为自监督目标，通过残差向量量化将每种模态离散化为 token 流，并用自回归 RQ-Transformer 并行预测所有模态的下一个 token。在睡眠阶段分类任务中，Hypnos 仅用 1% 的标注数据就达到了强监督基线的性能，还能泛化到日间生理信号，在检测房颤上超越专门的 ECG 基础模型。结果表明，下一词预测是多模态生理信号表征学习的有效且可扩展的自监督目标。
论文基础模型睡眠生理学多模态下一词预测自监督学习
推荐理由：睡眠医学和生理信号分析的研究者终于有了一个无需大量标注数据就能学到通用表征的基础模型——Hypnos 用下一词预测解决了多模态生理数据的学习难题，做睡眠分期或房颤检测的团队可以直接用它生成嵌入，大幅降低标注成本。
原文
09:36
09:36官方账号arXiv cs.AI@Xuanyi Liu, Deyi Ji, Junyu Lu, Jing Wang, Qianxiong Xu, Xuhang Chen, Tianrun Chen, Siwei Ma
精选
FaithRewriter 是一种新的提示增强框架，旨在解决文生图模型中用户意图与生成结果之间的差距。现有方法主要优化提示的流畅性和可读性，但缺乏视觉基础，容易过度推断缺失细节。FaithRewriter 首先利用多模态大模型根据原始提示生成中间图像作为视觉线索，然后将该图像与提示结合输入大规模语言模型，生成视觉上更合理的增强内容。最后，这些增强内容被蒸馏到小规模语言模型中实现高效部署。实验表明，FaithRewriter 生成的提示更忠实于用户意图，视觉上更合理，有效缩小了意图-生成差距。
论文文生图提示增强FaithRewriter多模态视觉锚点
推荐理由：做文生图应用或研究的人会关心——FaithRewriter 用视觉锚点解决了提示重写中的过度推断问题，生成的提示更贴近用户真实意图，值得在项目中尝试集成。
原文
6月8日
20:42
20:42IT之家（博客/媒体）
字节跳动旗下火山引擎宣布 Agent Plan 和 Coding Plan 限时优惠，即日起至 2026 年 8 月 27 日，新购或续费 40 元、200 元档位可享首两个月 2.5 折，最低 9.9 元/月。两个套餐均集成 MiniMax M3、DeepSeek V4、GLM-5.1 等前沿模型，Agent Plan 还内置字节自研多模态模型和 Harness 工具。这是业界首个“Agent 套餐包”，旨在降低企业使用 AI 智能体和编程助手的门槛。优惠力度大，适合开发者和小团队低成本体验。
AI产品智能体编程助手火山引擎限时优惠多模态
推荐理由：火山引擎把 AI 智能体和编程助手的价格打到了 9.9 元起，做开发或自动化的小团队可以直接薅羊毛，首两个月 2.5 折值得冲。
原文
16:42
16:42Hunyuan@TXhunyuan
精选72°
腾讯混元与上海交大、南洋理工等机构合作推出 MMAE，这是首个针对语音和音频编辑的综合评估基准。与单纯生成音频不同，MMAE 要求 AI 理解现有音频并根据自然语言指令精确修改，保留无关部分。基准包含 2000 个真实场景样本、17741 个细粒度评估项，覆盖声音、音乐、语音及其混合的 7 种模态设置。当前模型在精确匹配率（EMR）上低于 5%，揭示了可靠音频编辑的巨大差距。该基准已开源，包含论文、代码和演示。
论文音频编辑评估基准腾讯混元多模态开源
推荐理由：音频编辑是 AI 落地的重要场景，MMAE 基准揭示了现有模型的巨大短板，做音频 AI 或语音交互的开发者值得关注这个评估工具。
原文
6月6日
15:24
15:24官方账号Decoder@Jonathan Kemper
83°
阿里巴巴Qwen团队发布Qwen3.7-Plus，这是一个多模态智能体模型，集视觉感知、GUI操作和编码于一体。在演示中，基于该模型的智能体自主开发了一款词汇学习应用，在11小时内通过1000次智能体调用生成了超过10000行代码。该模型在Qwen自己的基准测试中屏幕理解能力领先，但整体性能参差不齐。Qwen3.7-Plus是专有模型，未开源，定价远低于西方前沿模型。
AI模型多模态智能体Qwen3.7-Plus阿里巴巴自主开发
推荐理由：阿里将多模态AI推向自主智能体新高度，做GUI自动化或端到端应用开发的团队值得关注——它能自己写代码、操作界面，11小时产出上万行代码，效率惊人。
原文
6月5日
22:52
11:43
09:56
04:32
6月4日
23:12
23:01
20:43
16:44
13:01
12:18