09:31
官方账号arXiv cs.AI@Binglin Zhou, Peng Shi, Ryo Kamoi, Nan Zhang, Rui Zhang
推荐理由：这篇论文给VLM配了三种看图工具（表格、图表、放大），再用GRPO训练工具使用策略，比普通prompt和RL方法更准，适合处理科学图表验证。
ToolSciVer
共 1 条相关 AI 资讯
7月20日
09:31
多模态科学声明验证需依托论文中的图表、表格等视觉证据。现有方法在定位关键视觉证据、准确读取结构化科学图表、整合多模态观察方面存在不足。本文提出首个工具增强框架ToolSciVer，为视觉语言模型（VLM）配备三种类型感知视觉工具：表格行列聚焦、图表结构化解析、高分辨率区域放大。采用分组相对策略优化（GRPO）训练策略，综合奖励答案正确性、格式、长度、工具使用效率及有效性。在SciVer和MuSciClaims数据集上基于Qwen、InternVL、Gemma三个系列的五个VLM进行实验，结果表明该方法优于包括提示词和强化学习方法在内的四个基线。