REDDIT: 利用回放分布编辑纠正ASR时间戳漂移而不遗忘

REDDIT: Correcting Model-Generated Timestamp Drift in ASR without Forgetting via Replay-Based Distribution Editing

精选理由

想修正ASR时间戳不准又怕模型学坏?REDDIT只动1.6%参数就把长间隔mIoU从38.7%拉到95%,还能守住原性能。

AI 摘要

论文研究自回归ASR系统在长非语音片段中产生的时间戳漂移问题,在15个含时间戳的ASR和音频语言系统上评估。提出的REDDIT框架通过回放分布编辑进行轻量级两阶段后训练,仅更新Whisper-tiny模型1.6%参数(34.9小时数据),将长间隔mIoU从38.7%提升至95.0%,混合间隔域外AAS从2752ms降至223ms,CV-en MER保持41.3%(普通微调为524.2%)。

AI 翻译 · 中文

论文研究自回归ASR系统在长非语音片段中产生的时间戳漂移问题,在15个含时间戳的ASR和音频语言系统上评估。提出的REDDIT框架通过回放分布编辑进行轻量级两阶段后训练,仅更新Whisper-tiny模型1.6%参数(34.9小时数据),将长间隔mIoU从38.7%提升至95.0%,混合间隔域外AAS从2752ms降至223ms,CV-en MER保持41.3%(普通微调为524.2%)。

arXiv cs.AIModern autoregressive ASR systems can emit timestamps as decoded tokens, enabling timestamped transcription without frame-level aligners or inference-time post-processing. We show that these generated timestamps can drif