模型精选
网友把谷歌 EmbeddingGemma 2 改造成语音识别模型，1 小时音频 13 秒转写
精选理由
有人把谷歌的 EmbeddingGemma 2 玩出了新花样，加个轻量 Reader 就变语音转文字，Mac 上 1 小时音频 13 秒搞定，思路很妙。
一位开发者在不修改 EmbeddingGemma 2 参数的情况下，只训练了一个轻量 Reader，把音频切片编码成向量后在文本空间检索最近的词，将语音转录从生成问题变成检索问题。在 M3 MacBook Air 上处理 1 小时音频约需 13 秒，速度达 288 倍实时。当前 WER 为 5%，与领先的 STT 模型 2%～3% 的水平还有差距。该方案适合会议录音整理、采访转写、语音笔记、视频字幕初稿等容错要求较高的场景。
原文 · AIGCLINK
有人把谷歌EmbeddingGemma 2改造成了语音识别模型，实现了非常惊人的端侧推理速度，快得离谱
M3 MacBook Air，1小时音频转写约13秒，处理速度288×
WER 5%，领先的STT在2%～3%，如果后续reader迭代能把WER压到3%以下，估计专用端侧STT市场要重新洗牌了
传统STT需要专门训练一个声音→文字生成模型，但是今天，EmbeddingGemma 2已经能把文本、图片、音频和视频映射到同一个语义空间，让声音的“你好”和文字的“你好”在向量空间中相互靠近
于是网友在不修改EmbeddingGemma 2参数的情况下，只在上面训练一个轻量Reader，把音频切片编码成向量后，直接在模型的文本空间里检索最近的词，把转录从生成问题变成了检索问题，把它“歪”成了一个语音转文字模型
目前5%的WER，用在容错要求相对较高的比如说会议录音整理、采访转写、语音笔记、视频字幕初稿等场景，有一定的实用潜力
来自 @TslShahir
#EmbeddingGemma2 #STT #语音转文字
