精选理由
这篇论文提出了BrainJanus，一个能双向翻译脑信号与图像、文本的统一模型，在零样本和生物可解释性上突破传统方法。
BrainJanus是首个将脑、视觉和语言整合到单一框架的统一脑模型。它引入Unified Brain Tokenizer将连续神经活动量化为离散Token，并与视觉和语言表征对齐到共享的Omni空间。基于All-in-One自回归架构，该模型通过下一个Token预测实现图像到脑、文本到脑的编码以及脑到图像、脑到文本的解码。在多项基准测试中，BrainJanus取得优越性能，并展现出零样本泛化能力和可解释的生物拓扑结构。代码已在GitHub开源。
AI 翻译 · 中文
BrainJanus是首个将脑、视觉和语言整合到单一框架的统一脑模型。它引入Unified Brain Tokenizer将连续神经活动量化为离散Token，并与视觉和语言表征对齐到共享的Omni空间。基于All-in-One自回归架构，该模型通过下一个Token预测实现图像到脑、文本到脑的编码以及脑到图像、脑到文本的解码。在多项基准测试中，BrainJanus取得优越性能，并展现出零样本泛化能力和可解释的生物拓扑结构。代码已在GitHub开源。
Modeling the bidirectional correspondence between external sensory stimuli and internal neural activity has emerged as a critical frontier in neuroscience. However, existing approaches predominantly treat brain encoding …