研究人员开发了 ZipCodec,这是一种专为超低帧率流式语音设计的新型神经音频编解码器。ZipCodec 以 6.25 Hz 的帧率、0.80 kbps 的比特率和 160 ms 的延迟运行,在重建质量和下游任务方面显著优于现有的流式编解码器。该系统利用大规模 WavLM 蒸馏、基于 Transformer 的架构和标量球形量化器,尽管拥有 8.42 亿个参数,仍能在消费级 CPU 上实现实时推理。 AI
影响 这一发展可能带来更高效、更低延迟的语音生成和编码系统。
排序理由 详细介绍新模型及其性能的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →