AITP
精选全部 AI 动态AI 日报Agent 接入我的简报我的追踪阅读偏好内容方法关于更新日志信源提报反馈
外观
登录 / 注册
AITOP

IAAN

共 1 条相关 AI 资讯
7月14日
12:19
12:19官方账号arXiv cs.AI@Yu-Han Huang, Chih-Kai Yang, Ke-Han Lu, An-Yu Cheng, Hung-yi Lee
IAAN(Identifying and Amplifying Acoustic Neurons)是一种无需训练和标签的方法,通过对比真实波形与噪声参考的激活值,对音频编码器中的每个前馈神经元进行评分并放大得分最高的少量神经元。在10种非语义语音属性上,IAAN在Audio-Flamingo-3上平均准确率提升25.7个百分点,在Qwen2.5-Omni上提升21.4,在Kimi-Audio上提升9.7。实验表明,仅在编码器内部以神经元级粒度干预才能产生增益,而解码侧或语言模型内部干预效果微弱甚至退化。该方法还能进一步改善已经专门微调用于强调声学证据的模型。
论文IAANAudio-FlamingoQwen2.5-Omni

推荐理由:想提升音频模型对语气、情感等非语义信息的识别?试试IAAN,在不重训模型的情况下,通过对编码器内部特定神经元做微调就能显著提分,多模型实测有效。
原文
精选全部日报登录