精选理由
想用语言帮AI'闻'气味？这篇论文用VLM生成场景描述，在纽约气味数据集上检索效果最牛，还能拆解混合气味。
SCENT框架利用视觉-语言模型（VLM）生成场景描述，捕捉对象、环境和可能的气味线索。该方法训练气味编码器将电子鼻信号映射到共享嵌入空间，并对齐视觉与文本表征。在New York Smells数据集上，SCENT在气味-图像和气味-文本检索任务中达到SOTA。框架还通过语言引导的潜在分解，分离对象气味与背景环境贡献。实验证明了语义信息对多模态嗅觉感知的重要性。
AI 翻译 · 中文
SCENT框架利用视觉-语言模型（VLM）生成场景描述，捕捉对象、环境和可能的气味线索。该方法训练气味编码器将电子鼻信号映射到共享嵌入空间，并对齐视觉与文本表征。在New York Smells数据集上，SCENT在气味-图像和气味-文本检索任务中达到SOTA。框架还通过语言引导的潜在分解，分离对象气味与背景环境贡献。实验证明了语义信息对多模态嗅觉感知的重要性。
Images tell us what a scene looks like, but rarely what it would feel like to be there. While recent datasets pair visual scenes with electronic-nose measurements, aligning smell signals with images remains challenging b…