11:40arXiv cs.AI@Junyu Pan, Yansen Wang, Enze Zhang, Baoliang Lu, Weilong Zheng, Dongsheng Li精选现有方法将脑电信号(EEG)与文本对齐,但会丢失精细的感知信息。研究者提出生成式视觉对齐(GVG)框架,通过EEG到图像的生成模型作为视觉翻译器,为非视觉EEG生成实例特定的代理图像,让多模态大模型(MLLM)利用视觉先验进行临床状态解读。在GVG-X-Omni和GVG-Janus两个骨干模型上验证,仅图像对齐的轻量模型在冻结7B参数骨干上仅调优170M参数,即可匹配1.7B参数文本对齐基线。进一步的三模态图像+文本对齐实验显示,视觉代理对齐能有效补充文本对齐,在EEG理解和视觉生成上均有一致提升。论文脑电信号多模态大模型生成式视觉对齐EEG理解视觉代理推荐理由:脑电信号理解一直受限于文本对齐的信息损失,GVG用生成图像作为桥梁,让MLLM能利用视觉先验进行更丰富的解读。做脑机接口或神经科学AI的团队,这个框架值得关注,轻量模型就能达到大模型效果。原文