16:28Yangyi@Yangyixxxx78°网易有道发布了「子曰4」全模态大模型,支持图像、视频、语音输入,27B参数可本地部署,尤其适合学习场景。同时,其TTS引擎独立开源,3秒即可完成声音采样和音色克隆,支持14种语言的跨语种生成且无口音。该模型权重已全量开源,开发者可直接使用。对于音视频营销素材的跨语种分发,这一工具能显著提升效率。AI产品网易有道子曰4全模态大模型TTS引擎开源推荐理由:做音视频营销或跨语种内容分发的团队,可以直接用这个TTS引擎快速生成多语言配音,3秒克隆音色且无口音,建议试试。原文
13:27arXiv cs.AI@Trung Nguyen Quang, Yiming Gao, Fanyi Pu, Kaichen Zhang, Shuo Sun, Ziwei Liu精选研究发现全模态大模型(如Gemini 3.1 Pro)在感知与行动之间存在显著鸿沟:模型内部隐藏状态能正确编码感知与文本前提的矛盾,但输出时几乎从不拒绝错误前提。研究团队构建了IMAVB基准测试,包含500个长视频片段,交叉测试视觉/听觉模态和标准/误导前提。模型表现出两种失败模式:欠拒绝(接受错误前提)和过拒绝(连正确前提也拒绝)。音频模态的接地能力弱于视觉,且该问题对七种提示变体均不敏感。提出的探针引导logit调整(PGLA)方法能有效改善拒绝行为,表明瓶颈在于从感知到行动的转化,而非感知本身。论文全模态大模型表征-行动鸿沟感知接地矛盾检测IMAVB基准推荐理由:这项研究戳破了全模态模型“感知接地”的泡沫——模型明明“看到”了矛盾却选择不说,做多模态推理或安全对齐的团队值得关注,尤其是音频模态的短板需要优先补上。原文