AITOP

多模态

共 746 条相关 AI 资讯 · 查看话题观测
6月29日
13:49
13:49官方账号阶跃星辰 Stepfun@Stepfun_AI
精选
Step 3.7 Flash 是开源多模态推理模型，现已在 DeepInfra API 上线。该模型支持私有端点部署，适用于专用负载场景。它专为智能体编码、工具使用、搜索和视觉工作流设计。开发者可通过 DeepInfra 的 API 直接调用。
AI模型Step 3.7 FlashDeepInfra多模态
推荐理由：Step 3.7 Flash 开源多模态推理模型刚上线 DeepInfra，支持私有部署，适合智能体编程和视觉任务，开发者可以试试。
原文
13:49
13:49
13:49
13:49官方账号Jasper AI@heyjasperai
精选72°
Jasper Research 宣布推出 MONET 数据集，从 29 亿张图片中精炼出 1.049 亿张高质量样本，成为全球最大的开放文本-图像数据集。该数据集采用 Apache 2.0 许可，可免费商用。同时发布的 nano-t2i 方案支持在单张 GPU 上训练有竞争力的文生图模型。
AI模型MONETJasper Researchnano-t2i
推荐理由：Jasper Research 放出了 MONET 数据集，有 1 亿多张图，免费商用，还能用 nano-t2i 在单卡上训练模型，做文生图的值得试试。
原文
6月27日
11:20
6月26日
11:39
10:52
10:52官方账号arXiv cs.AI@Junhao Shi, Zezheng Huai, Siyin Wang, Jia Chen, Yubang Wang, Zhaoye Fei, Hechang Chen, Jingjing Gong, Xipeng Qiu, Yu-Gang Jiang
OmniAct 提出了一个分层异步架构，将多模态语义规划器、基于事件边界压缩的自适应分层记忆和异步视觉抢占引擎模块化集成，以解决持久自主机器人的跨域工具调用与物理故障恢复问题。在40个真实世界长期任务中，使用两个机器人平台协调四个IoT设备，OmniAct在所有复杂度级别上端到端成功率一致提升，累积超过10万交互token时保持接近线性的token消耗，并让中等规模开源模型达到闭源模型性能。
AI模型OmniAct具身智能多模态
推荐理由：他们搞了个新架构，让机器人能自己协调API、物联网和物理动作，干活出错还能自己恢复，20个任务里成功率都比之前高，而且省钱省token。
原文
09:39
03:54
6月25日
16:06
11:01
11:01官方账号arXiv cs.AI@Yu-Yang Chen, Lan-Zhe Guo
TriViewBench 是一个基于合成3D场景的受控多视图视觉推理基准，包含1,923个场景和超过14K个问答对，分为4个复杂度级别和3个推理类别：局部决策、物体计数和全局恢复。评估18个开源和闭源MLLMs发现，所有模型能力排序一致（局部决策>物体计数>全局恢复），且随着复杂度增加性能单调下降：局部决策下降12.11%，物体计数下降59.14%，全局恢复骤降80.02%。错误分析表明，单视图任务中因遮挡导致欠计数，多视图任务因跨视角身份混淆导致过计数。Chain-of-Thought提示几乎无收益（Δ=-0.16%），表明瓶颈在于跨视角空间表示而非推理策略。
论文TriViewBenchMLLMs多模态
推荐理由：这篇论文用TriViewBench测了18个多模态模型，发现它们都在多视图推理上崩得厉害，CoT也救不了。想了解当前MLLM的结构推理极限，可以看看。
原文
10:45
10:45官方账号arXiv cs.LG@Akshay Paruchuri, Sanmi Koyejo, Ehsan Adeli
精选
论文提出Facet-Probe审计框架，从选项、证据块、文档排序、图像集、混合模态五个维度测试18个前沿和开源MLLM的排序敏感性。采用贝叶斯项目反应模型分离排序噪声与各维度偏差，发现所有模型均非排序不变，各维度平均翻转率在24%至50%之间。Gemini在温度0下的同序控制显示，验证单元中存在远超解码器噪声的排序超额。最优模型仍有13.4%的试次输出翻转，提示词级缓解措施无法泛化到视觉推理。
论文Facet-ProbeMLLMGemini
推荐理由：这篇论文用Facet-Probe测试了18个主流多模态大模型，发现它们对输入顺序都很敏感，最好的模型也错13.4%，提醒我们模型可靠性还不是想象中那么好。
原文
09:40
09:40官方一手arXiv: OpenAI@Nikolaos D. Tantaroudas, Ilias Karachalios, Andrew J. McCracken
论文介绍了Falco eleonorae，一个面向希腊小岛农民的双语（希腊语主、英语次）对话式AI助手。系统利用OpenAI GPT-5家族模型进行回答生成，并通过MCP工具查询本地作物、季节性日历、方言词汇等结构化数据。它支持语音输入（使用欧盟流式语音转文字服务）和图像描述（由视觉模型处理），并设计为渐进式Web应用以适应低带宽环境。作者论证，对于资源受限的农村部署，这种托管式检索增强方案比自托管模型更可靠且更易实现。
论文Falco eleonoraeGPT-5MCP/工具
事件专题
推荐理由：OpenAI的GPT-5给希腊农民做了个接地气的AI助手，能说方言、看图、查作物日历，比通用聊天更实用。
原文
08:42
01:25
6月24日
19:12
17:51
09:45
08:24
06:52
6月23日
14:48
10:35
10:35官方账号arXiv cs.LG@Talia Sternberg, Gallil Maimon, Yossi Adi
该论文分析了来自不同模型族和规模的交错语音文本语言模型，发现它们会在中间层隐式转录语音对应的文本词，其中77%的数据中该文本词出现在Top候选词中。随后模型在文本空间预测下一个词，再转回语音域。研究还表明，交错训练数据和文本LM初始化是诱发该行为的关键，且该行为与口语知识能力相关。
论文Speech Language Models交错训练语音模型
推荐理由：这篇论文让你搞懂语音语言模型内部是怎么偷偷把语音转成文本再推理的，分析得很透彻，适合想深入理解多模态模型原理的人。
原文
10:06
10:06IT之家（博客/媒体）
字节跳动发布的豆包Seed 2.1系列包括Pro和Turbo两个版本，Pro面向高复杂度任务，Turbo面向大规模生产。该系列在Coding工程交付、Agent长链路任务执行和多模态理解三大方向实现升级。价格方面，Pro模型推理输入6元/百万tokens（缓存命中1.2元），推理输出30元/百万tokens；Turbo模型推理输入3元/百万tokens（缓存命中0.6元），推理输出15元/百万tokens。同时发布了每周至少更新一次版本的Seed-Evolving模型和面向泛娱乐的角色模型Character。
AI模型豆包Seed 2.1字节跳动推理模型
事件专题
推荐理由：字节新出的豆包Seed 2.1 Pro和Turbo，专门优化编程、智能体和多模态任务，Pro适合高难度场景，Turbo便宜且效率高，很适合接项目用。
原文
02:09
00:48
00:23
6月22日
21:30
21:30IT之家（博客/媒体）
生数科技的新一代视频生成大模型 Vidu Q3 上线华为云 MaaS，支持文生视频和图生视频一体化成片。该模型是全球首个“为剧而生”的视频大模型，可生成 16 秒 1080P 画质内容，并实现声画同出、多镜头叙事。Vidu Q3 推出两个版本：Turbo 极速版优化推理速度与成本，适合快速创意打样；Pro 专业版支持 4K 分辨率，面向广告大片等专业场景。模型还具备多国语言文字渲染及多语言输出功能，可用于漫剧、短剧和影视创作。
AI模型Vidu Q3华为云生数科技
推荐理由：生数 Vidu Q3 上线华为云，能一键文/图生视频，支持 16 秒 1080P 和 4K，还有专为剧集设计的镜头叙事能力，做短视频或专业视频都合适。
原文
16:45
16:45IT之家（博客/媒体）
71°
京东发布并开源了实时视频视觉语言交互模型JoyAI-VL-Interaction，这是全球首个全栈开源的interaction模型和系统，获得vLLM-Omni的day-0原生支持。该模型能持续观察视频流，自主判断何时响应，而非被动等待用户提问。在58个真人盲评案例中，JoyAI-VL-Interaction对比豆包视频通话助手胜率77.6%，对比Gemini视频通话助手胜率87.9%。它支持摄像头、直播流、监控流等多种视频输入，并具备后台智能体委托能力。
AI模型JoyAI-VL-Interaction京东多模态
推荐理由：京东开源了JoyAI-VL-Interaction，能实时看视频主动说话，安防、直播都能用，盲评胜率比豆包和Gemini高一大截。
原文
10:48
10:48官方一手Pandaily@contact@pandaily.com (Pandaily)
ByteDance Seed与学术合作伙伴提出SpatialTree，这是一个分层框架，旨在重新定义多模态大模型（MLLM）对空间的理解与推理能力。该工作已被计算机视觉顶级会议CVPR 2026接收。SpatialTree通过层级结构显著提升MLLM在空间任务上的表现。
AI模型SpatialTreeByteDance SeedCVPR 2026
事件专题
推荐理由：字节跳动Seed搞了个SpatialTree框架，专门提升多模态模型的空间推理能力，还被CVPR 2026接受了，值得一看。
原文
6月21日
15:00
03:53
6月20日
10:18
07:27
07:27IT之家（博客/媒体）
苹果将于今秋推送visionOS 27，M5版Vision Pro独占Siri语音定制功能，用户可调整语气的表现力和语速。M5版还独占AFM 3 Core Advanced模型，该模型支持原生多模态能力并采用稀疏架构，可在本地执行更复杂的AI任务。M2版Vision Pro仍可享受visionOS 27的大部分升级，包括全景照片转空间场景、重新设计的控制中心以及更智能的自然语言理解。苹果未来计划通过云端计算为M2设备提供部分AI功能折中方案，但细节未公布。
AI产品visionOS 27M5 Vision ProSiri
推荐理由：苹果给M5 Vision Pro加了本地AI模型和自定义Siri语音，其他头显暂时没有，等正式版可以试试效果。
原文
03:05
03:05
03:05官方账号Together AI@togethercompute
88°
OpenAI 的 GPT Image 2 模型现已在 Together AI 的 Serverless Inference 服务中上线。开发者可通过该接口将图像生成与编辑功能集成到多模态应用中。模型支持精准布局控制、可读文本生成以及参考图像引导生成。Together AI 提供无服务器推理能力，无需管理基础设施即可调用。
AI模型GPT Image 2OpenAITogether AI
事件专题
推荐理由：OpenAI 的新图像模型 GPT Image 2 现在能用 Together AI 的无服务器接口调用了，做多模态应用时直接用它生成和编辑图片，支持布局和文字控制，挺方便。
原文
6月19日
11:47
11:47官方账号arXiv cs.LG@Wenhao Chi, Arkaprava Sinha, Dominick Reilly, Hieu Le, Srijan Das
UNIEGO提出分层多教师蒸馏框架，使用9个教师（覆盖自我/他人视角、RGB/深度/骨架模态和4个基础模型）来训练统一编码器。为解决异构教师的不兼容架构和特征几何冲突，框架引入代理模型将不同教师知识翻译到同质化的自我中心空间。第二阶段选择性代理蒸馏（SPD）为每个样本自适应选择正确且自信的代理子集，抑制错误信号。UNIEGO在三个自我中心视频基准（动作识别、视频检索、动作分割）上达到最先进性能。
AI模型UNIEGO自我中心视频知识蒸馏
推荐理由：想用多视角多模态数据训练视频理解模型？UNIEGO用代理模型搞定异构教师蒸馏，在三个任务上刷新了纪录。
原文
11:36
11:36官方账号arXiv cs.AI@Solène Debuysère, Nicolas Trouvé, Nathan Letheule, Elise Colin, Georgia Channing
SARLO-80是一个基于Umbra卫星VHR SAR SLC数据构建的SAR-光学-文本对齐数据集，包含约2500个全球场景，覆盖72个国家257个地点。所有SAR数据被标准化为80cm斜距网格，并切分为1024×1024像素图块，与对应的高分辨率光学图像精确对齐。数据集提供119,566个三元组（幅度/复数SAR图块、对齐光学图块、三种长度的自然语言描述），支持跨模态检索和条件生成等基准测试。完整代码和划分已开源在Hugging Face Hub。
论文SARLO-80UmbraSAR
推荐理由：想做SAR与光学图像对齐研究？这个数据集用Umbra的VHR数据做了精细对齐，还带文本描述，直接拿去做多模态训练或评测。
原文
10:25
10:23
10:23IT之家（博客/媒体）
谷歌与艺术家Refik Anadol合作的全球首个AI艺术博物馆Dataland将于6月20日在洛杉矶开馆，面积约2500平方米。开幕展“Machine Dreams: Rainforest”由Large Nature Model驱动，该模型基于自然世界数据集训练。博物馆使用Google Cloud工具（包括Gemini Enterprise Agent Platform和Compute Engine）协调GANs、扩散模型和Gemini，将数据转化为12亿像素的超现实画面。系统可生成动态声景、实时情绪感应并通过算法增强气味，运行使用87%无碳可再生能源。
行业谷歌DatalandRefik Anadol
推荐理由：谷歌和艺术家在洛杉矶开了个AI艺术博物馆，进去能看到12亿像素的实时画面，还能感应你的情绪释放气味，挺新鲜的。
原文
10:10
10:10官方账号arXiv cs.AI@Bo Yin, Xiaobin Hu, Chengming Xu, Ruolin Shen, Mo Yang, Jiangning Zhang, Peng-Tao Jiang, Cheng Tan, Shuicheng YAN
SPOT-E方法针对视觉语言模型在处理证据密集型任务时因小区域视觉证据被忽略导致的读取失败问题。该方法利用答案跨度预测熵作为模型内部反馈，通过低熵锚点和熵整形目标消除歧义，避免模型陷入捷径塌缩。SPOT-E基于GRPO进行每实例轻量级调优，生成问题条件化的聚光灯。在多个VLM族和基准测试中，SPOT-E一致提升了性能并增强了视觉损坏鲁棒性。代码已开源。
论文SPOT-EVLMGRPO
推荐理由：SPOT-E这个新方法挺有意思，它不重训模型，只在推理时搞了个视觉聚光灯和熵整形，就让VLM在那些需要细看局部证据的任务上表现好多了。尤其用GRPO调优，效果提升还挺稳定。
原文