Whisper-tiny

新的REDDIT框架可在不遗忘模型的情况下纠正ASR时间戳漂移

研究人员开发了REDDIT，一个新颖的训练后框架，旨在纠正自动语音识别（ASR）系统中的时间戳漂移，而不会导致灾难性遗忘。该方法使用基于重放的分布编辑技术，通过重放模型自身的解码器上下文来精炼时间戳，同时保留非时间戳标记的分布。该框架在Whisper-tiny上将长间隔mIoU从38.7%提高到95.0%，参数更新极少，同时显著减少了域外时间戳错误。