AITP
精选全部 AI 动态AI 日报Agent 接入关于更新日志信源提报反馈
登录 / 注册
AITOP
全部 AI 动态
AI 相关资讯全量信息流
全部博客资讯推文论文
全部模型产品行业论文技巧
标签:生成式视觉对齐×
6月16日
20:46
AITOP6月16日 20:46
600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI600亿美元买下Cursor,xAI终于拿到了编程工具,但真正值得跟踪的或许不是AI
6月12日
12:57
AITOP6月12日 12:57
Claude代码里藏了个20260612,18个月后的AI记忆革命已经开始倒计时
6月11日
15:28
AITOP6月11日 15:28
1107 vs 303:谷歌悄悄开源了一个“拆打字机”的模型,把大模型速度翻了4倍
15:23
AITOP6月11日 15:23
DiffusionGemma颠覆文本生成?自回归模型的“统治”要结束了
15:07
AITOP6月11日 15:07
每秒1107个token,Google开源的扩散模型为什么能改变本地推理格局?
5月19日
11:40
11:40arXiv cs.AI@Junyu Pan, Yansen Wang, Enze Zhang, Baoliang Lu, Weilong Zheng, Dongsheng Li
精选
现有方法将脑电信号(EEG)与文本对齐,但会丢失精细的感知信息。研究者提出生成式视觉对齐(GVG)框架,通过EEG到图像的生成模型作为视觉翻译器,为非视觉EEG生成实例特定的代理图像,让多模态大模型(MLLM)利用视觉先验进行临床状态解读。在GVG-X-Omni和GVG-Janus两个骨干模型上验证,仅图像对齐的轻量模型在冻结7B参数骨干上仅调优170M参数,即可匹配1.7B参数文本对齐基线。进一步的三模态图像+文本对齐实验显示,视觉代理对齐能有效补充文本对齐,在EEG理解和视觉生成上均有一致提升。
论文脑电信号多模态大模型生成式视觉对齐EEG理解视觉代理

推荐理由:脑电信号理解一直受限于文本对齐的信息损失,GVG用生成图像作为桥梁,让MLLM能利用视觉先验进行更丰富的解读。做脑机接口或神经科学AI的团队,这个框架值得关注,轻量模型就能达到大模型效果。
原文
精选全部日报登录