11:27
官方一手arXiv: OpenAI@Ivan Majic, Zexian Huang, Franziska Hübl, Krzysztof Janowicz, Meilin Shi, Mina Karimi, Zilong Liu, Alexandra Fortacz-Lazan
推荐理由：这篇论文拿彩色方块网格考OpenAI的多模态模型，让它们看图写话再画图，结果画不对，做自动GIS得先解决这问题。
LMM
共 1 条相关 AI 资讯
8月10日
11:27
论文提出一种模态转移任务，要求LMM先用文本描述规则网格中的彩色方块图像，再用新的LMM实例根据文本描述重新生成原空间场景。实验采用OpenAI的近期LMM，结果显示其在重新生成简单彩色方块网格图像时仍存在困难。研究表明，LMM的强健地理空间理解需要严格的多模态对齐，当前模型在图像和文本模态间转移空间信息的能力仍是瓶颈。