Apple Matrix Coprocessor

Apple 发布用于 Siri 的内存高效设备端音频合成

Apple 在一篇研究论文中详细介绍了一种新的内存高效的设备端音频合成架构。该系统为 Siri Expressive Voices 提供支持，使用扩散 Transformer (DiT) 风格的解码器，以最少的计算资源将语义音频令牌转换为高保真语音。该架构实现了实时合成速度，仅需约 21MB 运行时内存，并与之前的设备端系统相比显著提高了音频质量指标。