#VLM

H-Company 聊了怎么用 NVIDIA Dynamo 优化跑 Computer Use 智能体的 VLM 服务，做 agent 推理部署的可以看看他们的实践。

官方账号NVIDIA AI@NVIDIAAI11 个信源在谈原文

微调 VLM 的朋友看这个：不同能力峰值时间不同，挑 checkpoint 的标准可能让你丢掉可迁移能力，SSR 方法能改善 name-free 检索。

写论文的都懂流程图换个画布比例多痛苦，这篇把它做成智能体流水线，输出还是 draw.io 能直接编辑的，比图生图和文生图靠谱多了。

研究员做了 Knossos 基准加 Ariadne 框架，让 VLM 能把流程图、架构图完整转成节点和边组成的图，代码开源可试。

DuoMind让多机器人通过语义通信协调工作，比传统方法更高效，还推出了新基准测试RoboPoly。

MOBA-VL用游戏遥测数据训练，能准确捕捉击杀和目标等关键事件，比现有模型更精准解说电竞比赛。

斯坦福团队推出社交机器人导航基准测试，发现顶级VLM表现还不如简单规则方法，揭示了AI社交理解的不足。

这篇论文提出让VLM智能体不仅能预测未来，还能回溯过去判断因果一致性，解决了物理行为不连贯的问题。

这篇论文把 App 导航离线编译成命令，智能体执行又快又省 token，做移动 Agent 的开发者可以直接看看思路。

一篇针对 CLIP 这类视觉语言模型的遗忘论文，指出现有方法只会过拟合见过类别，提出的 4 shots 就能超过 8 shots 基线

一篇让手机自动化代理又快又省钱的论文：VLM 只做规划，小模型 Jev 负责点按操作，API 开销直接砍掉七成多。

一个自动驾驶推理数据集，41 万多帧标注把视觉证据和驾驶决策串成思维链，多个骨干模型实测轨迹误差明显下降，做自动驾驶 VLM 的可以看看。

让 VLM 智能体边渲染边比对来跟踪 3D 物体，ARCTIC 和 HOT3D 两个基准上都跑赢了现有方法。

给开源视觉语言模型的人脸识别解释定了相关性和忠实性两个量化标准，评测框架开源，做审计场景的可以拿来用。

朋友，这是篇挺有意思的论文，研究的是临床预测中 VLM 模型如何利用 ECG 数据。他们发现模型虽然能处理多模态信息，但可能没真正用到 ECG，然后提出了一种叫视觉提示词调优的方法来解决这个问题。

SAGE框架让VLM只在关键时刻提供指导，大幅减少调用次数，学习到的策略甚至能超越VLM教师表现。

空间推理一直是视觉语言模型的硬伤，SCOUT 用新的训练方法把 3D 理解做得更准，7B 规模直接超过 GPT-4o，还能迁移到视频上。

这论文给了一个能自动造VLM压力测试的框架，比现有基准更能暴露模型短板，做评测的可以看看。

这篇论文用消融实验戳穿了VLM做零样本控制的假象，多数模型其实没在看图像。还给出了一个能到0.973准确率的守护方案，想搞具身智能的值得看。

SAFT用结构先验替代人工标注，给VLM奖励模型降噪，训练收敛更快，EPIC距离也更好了。

这篇论文发现，给越狱提示配张无关图片，能让ECSO防御的攻击成功率掉73个百分点。不是新防御，但交互很反直觉。

这篇论文提出了HyGAE方法，让VLM智能体在多个回合的决策任务里表现更好，平均成功率91%，比别的方法高了10%，值得搞强化学习和多模态的研究者看看。

这篇论文提出了MIRROR方法，让视觉语言模型通过不同视角互相学习，在几何推理中表现更稳定、更准确。

他们用两个简单技巧，让检测AI改图的模型在GPT、Gemini等新模型上比之前最好的PIXAR强了26%多，代码也开源了，搞图像安全的可以试试。

这篇论文搞了个新度量TPIPS，能按文字指令判断两张图在哪个方面像，比现有单标量打分更细。数据集和模型都开源了。