15:33
官方账号arXiv cs.AI@Yuanzhi Xu, Qian Gao, Jun Fan, Guohui Ding, Zhenyu Yang, Yuteng Xiao, Sixue Lin
推荐理由：想测多模态模型在拥挤场景里会不会张冠李戴？这个新基准InstaBind-Lite能精准量化，开源模型错绑率近20%，比想象中严重。
InstaBind-Lite
共 1 条相关 AI 资讯
8月18日
15:33
本研究提出密集同类属性错绑（DSCAM）问题，指视觉语言模型在拥挤场景中将属性错误分配给同类实例。作者发布InstaBind-Lite基准，含524张图像、529组3-6个同类实体、1773个框选实例及9580个确定性评估问题。测试5个开源和2个商业/API模型，开源系统平均错绑率19.84%，API系统7.55%，且80%以上错误源于相邻实例。该基准将错误答案分类为可识别来源，检验模型是否知道每个属性归属哪个实例。