AITOP

多模态

共 745 条相关 AI 资讯 · 查看话题观测
7月23日
12:07
11:38
11:38官方账号arXiv cs.AI@Xuchen Zhu, Yajuan Wei, Shuang Hao, Jiwei Jiang, Guanxiang Mao, Fang Ren
针对 RGB-D 语义分割模型在缺失 RGB 或深度模态时性能骤降的问题，研究者提出 Condition Dropout (ConD) 方法。ConD 在预训练模型基础上增加第二阶段训练，随机模拟完整、缺 RGB 或缺深度输入，冻结原编码器并训练带有零初始化特征注入的副本。在 NYU-Depth V2 和 SUN RGB-D 数据集上，ConD 在缺失模态下显著提升鲁棒性，且完整模态下略有增益。代码将在论文接收后公开。
论文ConDNYU-Depth V2SUN RGB-D
推荐理由：做语义分割的可以看看 ConD，训练完一个模型就能同时应付缺 RGB 或缺深度的情况，还能保持全模态精度。简单有效，代码也快开源了。
原文
03:09
00:34
7月22日
21:55
21:42
21:42官方账号阿里通义 Qwen@Alibaba_Qwen
精选
阿里Qwen的Rich Content能力支持在单张图像内渲染多层嵌套界面，从外到内依次显示VSCode、Qwen Chat、通讯软件和咖啡海报。每个层级保留真实UI风格，形成“画中画中画”的视觉深度。该能力测试模型的语义解构与逻辑嵌套，通过一条指令即可生成。
AI模型QwenRich ContentVSCode
推荐理由：阿里Qwen新能力Rich Content，一张图能嵌套VSCode、Qwen Chat等四层界面，像套娃一样，考验模型对复杂布局的理解。
原文
15:57
12:59
12:59官方账号arXiv cs.AI@Rahul Sajnani, Yulia Gryaditskaya, Radomír Měch, Srinath Sridhar, Matheus Gadelha
论文提出Appearance Pointers，一种紧凑的额外token，用于指导扩散变换器（DiT）在指定空间区域获取正确的纹理、对象身份等外观信息。该方法通过区域对应网络生成token，并用空间聚合机制优化，无需重新训练基础DiT模型即可处理多个区域描述。在多个基准测试上，单模型性能达到或超越针对特定模态的现有方法，实现了首个模态无关的局部多模态控制接口。
论文Appearance PointersDiT多模态
推荐理由：这篇论文搞了个Appearance Pointers，能让DiT模型精确指定图片不同区域该长什么样，不用重训模型，效果还比那些专门的方法好。
原文
12:20
11:28
11:28小互@imxiaohu
72°
通义发布了图像生成模型Qwen-Image-3.0，支持单条指令生成九张信息图或一整版报纸。该模型原生渲染12国语言，覆盖100+艺术风格，并可仿真网页游戏直播界面。它还能联网获取最新世界知识，指令上限提升至4.5k token，一次交代完整复杂内容。
AI模型Qwen-Image-3.0通义图像生成
推荐理由：通义新模型Qwen-Image-3.0来了，能一次性画九张信息图甚至整版报纸，支持12国语言和100多种艺术风格，指令上限4.5k token，复杂需求一次搞定。
原文
10:12
06:50
06:02
03:48
03:24
03:18
03:02
01:30
01:25
01:15
00:56
00:56官方账号Google DeepMind@GoogleDeepMind
Google DeepMind 正式推出 Gemini 3.6 Flash 和 3.5 Flash-Lite 两个新模型，现已可在 GeminiApp 中体验。开发者可通过 Google AI Studio 和 Android Studio 的 API 直接调用这两个模型进行开发。此外，Gemini 3.5 Flash Cyber 安全版本将作为限量试点计划，通过 CodeMender 平台独家提供。
AI模型Gemini 3.6 FlashGemini 3.5 Flash-LiteGoogle DeepMind
事件专题
推荐理由：Google DeepMind 刚发了两个新模型，3.6 Flash 和 3.5 Flash-Lite，现在就能在 GeminiApp 和 API 里用，还有一个安全版要试点，开发者可以试试
原文
00:47
00:20
00:00
7月21日
16:01
12:27
12:27IT之家（博客/媒体）
精选
小鹏集团发布TuringViT视觉编码器，推出18L和24L两个版本，分别包含15层TLA和20层TLA。在1536×1536分辨率下，TuringViT-18L的推理吞吐量达到Seed1.5-ViT的3.04倍，相比SigLIP2-ViT-L提升2.16倍。该模型仅用0.85B图文对训练，在ImageNet-1K等六项零样本分类基准上取得83.6%平均准确率，超越使用10B数据的SigLIP2-L。TuringViT采用VISTA-Curation数据治理流水线，通过三步筛选优化图文数据质量，并支持四阶段渐进式原生动态分辨率训练。该编码器将应用于小鹏智能驾驶、智能座舱和IRON人形机器人。
AI模型TuringViT小鹏视觉编码器
推荐理由：小鹏自己搞了个TuringViT视觉编码器，只用了别人十分之一的数据就达到更好效果，还能跑车载和机器人，效率很高。
原文
12:09
12:09官方账号arXiv cs.LG@Sheng-Yu Wang, Yotam Nitzan, Aaron Hertzmann, Jun-Yan Zhu, Eli Shechtman, Alexei A. Efros, Richard Zhang
本文提出TPIPS，一种基于文本提示的图像感知相似度度量，能根据文本条件区分形状、颜色等不同视觉相似性维度。研究基于大规模三元组数据集，包含多种自由形式语义相似性标注。在多个前沿视觉语言模型（VLM）基准测试中，模型与人类一致性差距显著。通过微调VLM，TPIPS在文本引导检索、组合搜索和生成模型细粒度评估中表现更优，且泛化良好。
论文TPIPSVLM视觉相似度
推荐理由：这篇论文搞了个新度量TPIPS，能按文字指令判断两张图在哪个方面像，比现有单标量打分更细。数据集和模型都开源了。
原文
11:57
11:57官方账号arXiv cs.LG@Krish Agarwal, Zhuoming Chen, Yanyuan Qin, Zhenyu Gu, Atri Rudra, Beidi Chen
FlashRT 是一个引导编码智能体优化实时多模态应用部署的框架，将简单参考实现转化为多 GPU 部署。在 NVIDIA B200 GPU 上，FlashRT 将视频世界模型和多模态 LLM 的延迟降低达 70 倍，吞吐量提升 2.8 倍。在 AMD MI355X GPU 上，延迟降低持平，吞吐量提升达 3.6 倍。针对 Qwen3-Omni 文本到音频推理，FlashRT 在 AMD MI355X 上比专家 vLLM-Omni 实现减少 65% 响应延迟。
AI模型FlashRTNVIDIAAMD
事件专题
推荐理由：部署多模态模型时延迟高吞吐低？FlashRT 让智能体自动优化，实测延时降 70 倍，吞吐升 3.6 倍，AMD 平台效果尤其猛。
原文
11:25
11:25官方账号arXiv cs.AI@Haochen Zhao, Yongxiu Xu, Xinkui Lin, Dong Xie, Jiarui Lu, Yuqi Qian, Yubin Wang, Hongbo Xu, Gaopeng Gou
该论文提出SIEVE框架，用于多模态视频虚假信息检测。SIEVE通过一个证据搜寻智能体主动从视频中获取稀疏但关键的线索，构建紧凑的证据包。该智能体通过监督式证据搜寻轨迹和证据感知强化学习进行训练，鼓励获取信息性证据并抑制无效交互。在多个视频虚假信息检测基准上，SIEVE持续优于基线方法，并支持仅用紧凑证据包完成可靠验证。其证据获取过程提供了可检查的轨迹，增强了检测的透明度和可解释性。
论文SIEVE多模态虚假信息检测
推荐理由：这篇论文提出了SIEVE，用智能体主动找几处关键证据就能判断视频真假，不用看完整个视频，效果更好还更透明。
原文
10:54
10:54官方账号arXiv cs.AI@Zhanbo Li, Shifeng Wu, Xiangjin Meng, Wenjie Cai
精选
该论文提出数据优先本体论，将确定性知识移入显式多模态数据库DaoQL。在五个领域的反事实实验（n=1250）中，DaoQL+GPT-4o达到94%可组合反事实分解性，比单独GPT-4o高49个百分点。DaoQL在同机嵌入式设置中报告图BFS为1.20 ms、HNSW为83.1 us、Fluent混合查询为105.8 us。在LDBC SNB SF1和ANN-Benchmarks上实现34/34查询覆盖，ANN-Benchmarks在桥边保护修复后Recall@10>=99%且千级QPS。论文明确区分可证明结构、初步实证证据和架构路线图声明。
AI模型DaoQLGPT-4o反事实推理
推荐理由：这篇论文把LLM当推理引擎，把知识存进显式数据库DaoQL，反事实推理比GPT-4o单独强49个百分点，适合做高精度场景的参考。
原文
10:51
10:51官方账号arXiv cs.AI@Zihao He, Hongjie Fang, Shirun Tang, Cewu Lu, Haoshu Fang
LAG-Fusion提出一种延迟感知指导融合框架，用于异步多模态扩散策略组合。该框架允许不同模态的策略以各自原生推理速率运行，并在可用时贡献去噪指导。通过推导扩散变量在相对动作表征下的参考帧重基规则，实现延迟指导在融合前的对齐。在接触丰富操作任务中，低频视觉策略与高频力觉策略的异质延迟实验显示，LAG-Fusion相比同步融合和专门设计的力感知基线，提升了策略响应速度和任务性能。
论文LAG-Fusion多模态扩散策略
推荐理由：一篇关于多模态机器人模仿学习的论文，提出LAG-Fusion解决不同传感器速率不同的异步融合问题，实验证明比同步融合更高效。
原文
10:41
09:33
01:33
00:51
7月20日
21:40
21:40岚叔@lufzzliz
Qwen-3.8 Max 参数量2.4T，支持多模态和1M上下文。同任务下速度比Kimi-K3快十倍，对探索性任务性价比高。前端能力与SOTA模型不相上下，限时一折、夜间0.2折。正式版将开源并持续进化，擅长Cowork类Agent任务。
AI模型Qwen-3.8-Max阿里推理模型
事件专题
推荐理由：阿里发了Qwen-3.8 Max预览版，参数量2.4T，速度比Kimi-K3快一个数量级，限时一折，正式版很快开源，感兴趣可以试试。
原文
15:03
15:03IT之家（博客/媒体）
精选
上海科学智能研究院发布科学多模态基础模型“神珍”（Monkey King Bang, MKB），参数约110亿，覆盖DNA、RNA、蛋白质、小分子、地球系统和医学影像六类科学数据。在20项生物序列任务中，9项取得最优结果，17项位列前二；小分子理解任务SMolInstruct中4项最优。气象预报可滚动生成最长10天的全球气象场，多项指标达到业务级数值预报水平。医学影像分割在9种模态中平均Dice得分为91.20，7种参评方法中最优。
AI模型神珍Monkey King Bang上智院
推荐理由：上智院开源了110亿参数的科学模型“神珍”，能处理生物序列、小分子、气象和医学影像，在多项基准上领先其他模型。
原文
14:45
14:45IT之家（博客/媒体）
72°
字节跳动 Seed 发布音频创作模型 Seed Audio 1.0，在统一框架下联合建模人声、音效和环境声。支持精细时间控制，一条 prompt 即可按时间线编排对白、音效和环境声。支持 20+ 语种生成，大部分语言 MOS 超 4 分，可用率在多数场景达 90% 以上。已在火山方舟体验中心上线。
AI模型Seed Audio 1.0字节跳动火山方舟
事件专题
推荐理由：字节新出的 Seed Audio 1.0 能精细控制声音时间线，还能跨 20 多种语言保持音色一致，音频可用率超 90%，做视频创作很实用。
原文
10:21
09:33
09:33官方账号arXiv cs.AI@Jiarui Zhang, Muzi Tao, Shangshang Wang, Ollie Liu, Xuezhe Ma, Willie Neiswanger
多模态大模型（MLLM）在主动观察任务上能力缺失。新基准ActiveVision包含17个任务（3个类别），要求模型反复视觉感知而非单次描述。GPT-5.5在最高推理档次上仅解决10.6%的项，11个任务得零分；Claude Fable 5仅3.5%，而三名人类被试平均96.1%。即使让模型编写并运行自己的视觉代码，大部分差距依然存在，因为代码在真实图像上不可靠，且捕捉自身失败需要模型缺乏的主动感知。结果表明当前MLLM缺乏稳健的主动视觉观察能力。
AI模型ActiveVisionGPT-5.5Claude Fable 5
事件专题
推荐理由：想看最强的AI在实时观察任务上有多弱吗？ActiveVision让GPT-5.5和Claude Fable 5原形毕露，人类碾压它们。
原文