AITOP

多模态智能体

共 9 条相关 AI 资讯
8月3日
09:14
09:14官方账号arXiv cs.AI@Zhoujin Tian, Yao Tian, Hao Zhang, Cheng Chen, Yakun Li, Lei Zhang, Xiaofang Zhou
AdaMM是一个面向多模态智能体的分析记忆框架。AdaMM从对话、图像和元数据中提取带溯源信息的属性-值观察，并发现重复字段结构。在MemEye等基准中，现有系统侧重检索记忆，而AdaMM同时支持检索与分析。推理时，AdaMM的记忆感知规划器将查询分解为检索和分析操作。实验显示，在MemEye和MemGallery上AdaMM分别比基线提升11.3%和7.3%。
论文AdaMM多模态智能体分析记忆
推荐理由：AdaMM让智能体能对历史多模态观测做筛选、聚合和排序，不止检索。MemEye、MemGallery上比现有高11.3%和7.3%，适合多模态记忆研究者。
原文
7月1日
10:11
6月30日
11:43
11:43官方账号arXiv cs.AI@Wenjia Jiang, Zongyuan Cai, Yuanhang Shao, Chenru Wang, Boyan Han, Zhixue Song, Keyu Chen, Shengwei An, Xu Yang, Zhou Yang
ManimAgent是一个基于大语言模型的自进化多模态智能体，能从学术论文段落生成Manim库的Python代码以渲染数学动画。它通过双通道情节记忆库（M+和M-）跨任务保存反思经验，无需权重更新或人工种子。在固定探针评估中，相比无记忆、匹配预算的检索增强生成和混洗记忆基线，盲人Pass@1随记忆增长而上升，反思轮次下降。
论文ManimAgentManim多模态智能体
推荐理由：这篇论文提出了ManimAgent，它能通过经验记忆自我进化，生成数学动画代码时效果比基线方法好很多。
原文
6月12日
13:23
09:08
09:08官方账号arXiv cs.AI@Tao Hu, Jiaxin Ai, Licheng Wen, Xueheng Li, Shu Zou, Siqi Li, Nianchen Deng, Xinyu Cai, Hongbin Zhou, Pinlong Cai, Daocheng Fu, Yu Yang, Hairong Zhang, Botian Shi, Xuemeng Yang
IterCAD 是一个统一的多模态智能体框架，用于闭环、交互式的计算机辅助设计（CAD）生成与编辑。它通过多轮交互将智能体与可执行的 CAD 沙箱连接，支持图纸到代码、文本到代码和交互式编辑三种任务。研究团队开发了数据合成流水线，融入先进工业制造特征，生成符合标准的多视图工程图纸和复杂编辑任务。通过渐进式监督微调和几何感知强化学习优化智能体，显著提升了代码可执行性和几何精度。实验表明，IterCAD 在多个基准测试中表现优异，尤其在闭环迭代优化方面超越现有方法。
论文CAD生成多模态智能体闭环迭代
推荐理由：CAD 工程师和设计自动化研究者终于有了一个能闭环迭代的智能体——IterCAD 解决了传统一次生成与真实迭代流程脱节的问题，做工业设计和 AI 辅助制造的团队可以直接用其数据合成和评估方法。
原文
6月2日
12:02
12:02官方账号arXiv cs.LG@Xinhao Song, Su Su, Sirui Song, Hongliang Wu, Wen Shen, Zhihua Wei, Gongshen Liu, Linfeng Zhang, Dongrui Liu
精选72°
多模态智能体正被期望替代人类操作界面，但 CAPTCHA 验证是服务商故意设置的自动化屏障。新提出的 HLL 基准测试通过交互式 CAPTCHA 评估智能体能否以类人方式突破这一防线，而非仅靠图像识别。测试覆盖多种验证类型，并引入杂乱网页、困难变体等现实压力因素。结果显示，当前前沿多模态智能体在定位、动作校准、状态追踪和过程一致性上存在明显短板，性能随验证类型和界面复杂度剧烈波动。该基准为衡量智能体在受保护工作流中替代人类的能力提供了具体测试平台。
论文多模态智能体CAPTCHA基准测试
推荐理由：CAPTCHA 是 AI 替代人类操作的最后一道门槛，做智能体自动化或 GUI 操作的团队可以用 HLL 测试自家模型的实际突破能力，结果可能会让你重新评估部署策略。
原文
10:52
10:52Google AI Developers@googleaidevs
在 Google I/O 大会后，Cerebral Valley 社区与 Google DeepMind 在旧金山举办了一场周末黑客松，开发者们利用最新的 Gemini 和 Gemma 能力，将多模态智能体、语音界面和长时推理系统等前沿概念转化为实际产品。获奖团队展示了 Gemini 3.5 Flash 在构建复杂 AI 应用中的潜力。此次活动体现了从技术发布到社区落地的快速转化，激励更多开发者探索 AI 的实用边界。
AI产品Gemini 3.5 Flash黑客松多模态智能体
推荐理由：想看看 Gemini 3.5 Flash 在真实场景中能跑多远？这场黑客松的获奖项目就是最好的参考——做多模态应用或语音交互的开发者值得关注这些实战案例。
原文
5月15日
10:02
10:02官方账号arXiv cs.AI@Shaoan Zhao, Huanlin Gao, Qiang Hui, Ting Lu, Xueqiang Guo, Yantao Li, Xinpei Su, Fuyuan Shi, Chao Tan, Fang Zhao, Kai Wang, Shiguo Lian
精选
MediaClaw 是一个基于 OpenClaw 生态构建的多模态智能体平台，旨在解决 AIGC 落地中的碎片化能力、异构接口、生产流程割裂和高质量工作流复用难等痛点。其核心采用三层架构：统一抽象层将全品类 AIGC 能力抽象为统一调用模型，插件化扩展层支持热插拔能力扩展，工作流编排层通过面向任务的 Skills 将复杂生产过程转化为可复用资产。该技术报告重点阐述了 MediaClaw 的架构设计理念、核心能力模型的设计逻辑以及实现中的关键工程权衡，为构建多模态能力平台提供了可复用的实践参考。
论文多模态智能体AIGC平台架构
事件专题
推荐理由：做多模态 AI 应用或 AIGC 平台架构的团队，可以直接参考 MediaClaw 的三层抽象和插件化设计，解决能力碎片化和工作流复用难题，建议点开看看工程权衡细节。
原文
5月14日
19:09