宝玉分享了用 Qwen3 ASR 替代 Whisper 做字幕的心得，时间戳对得很准，还配了发言人识别方案，适合搞视频翻译的朋友。
Whisper 在字幕翻译中存在时间戳不准、中英文混排支持差、不直接支持发言人识别等问题。Qwen3-0.6b ASR 搭配 Qwen3-ForcedAligner 模型可精准对齐词级时间戳，本地运行资源占用低。发言人识别可使用 Pyannote + WeSpeaker 开源模型，结合 Agent 上下文提升准确率。若要求高，可选用火山引擎豆包录音文件识别模型 2.0。宝玉在 BaoCut App 开发中，通过 Claude Code 和 Opus 4.8 等模型实现原型设计到功能实现的高效循环。
最早我做字幕翻译的时候，语音转文字是用的 Whisper，但是 Whisper 有几个问题： 一个问题是时间戳不准，时间戳不准拆分的就是就可能字幕和语音对不上，很影响效果，需要人工去从头到尾校对一遍...
最早我做字幕翻译的时候，语音转文字是用的 Whisper，但是 Whisper 有几个问题： 一个问题是时间戳不准，时间戳不准拆分的就是就可能字幕和语音对不上，很影响效果，需要人工去从头到尾校对一遍 一个问题是中英文混排支持不好，中文其实支持也不算太好，所以中文的转录就效果很差 一个问题是不直接支持识别发言人 虽然这些问题都可以通过收费的云端模型来解决，但是成本相对高一些。 最近测试了 Qwen3 ASR，效果是真的很不错，配合 Qwen3-ForcedAligner 模型，可以识别后把词级时间戳对的很精准。0.6b 就足够了，本地运行资源占用也不高。 github.com/QwenLM/Qwen3-A… 发言人识别也有开源的模型：Pyannote + WeSpeaker。不过这个发言人一多尤其是一起说话识别的不够准，但配合 Agent 结合上下文就能做到相对比较准了。 如果真的要求高，也可以走云端模型，比如火山引擎上的豆包录音文件识别模型 2.0 就质量挺好，速度也快，就是要额外花钱。 宝玉 @dotey 我在开发 BaoCut 这个 App 的时候，是基于一个 Loop 来的： 1. 在开发新功能之前先设计原型（参考图1），借助的是 baoyu-design skill （ github.com/jimliu/baoyu-d… ），配合 Claude Code App 内置的浏览器实施预览调整，模型 Opus 4.8 就很好了，都不需要 Fable 5. GPT 5.6 Sol 设计能力还是不如 Opus 4.8 2. 原型打磨好了后，只需要在同一会话内，让 Claude Code 基于新的 UI 设计去实现功能即可，这块 Claude 做的很好，Fable 5 效果最好，能将设计稿几乎 1:1 还原，如果修改不多 Opus 4.8 也能胜任。 这些 UI 的打磨我还是更放心让 Fable 和 Opus 而不是 GPT，但其他一些不涉及 UI 部分的 GPT 5.6 Sol 就做的很好。 3. 更新好了后测试没问题，就可以通过发布的 skill 发布新版本。 这里可以放心让 Codex 去做了，尤其是它的 CloudFlare Plugin 很好用，直接帮助发布更新安装包到 CF。 这个 loop 的每一个迭代的起点是自己的想法，让 AI 提供设计方案，和 AI 反复讨论后确定方案，然后 AI 实施，AI 实施完成后人再去验证和当初想要的是否一致，如果不一致再让 AI 调整甚至推翻重来。 🔗 View Quoted Tweet 💬 6 🔄 4 ❤️ 19 👀 3933 📊 9 ⚡