Live Music Diffusion Models

新的扩散模型可在消费级硬件上实现实时人工智能音乐生成

研究人员开发了实时音乐扩散模型（LMDMs），这是一种使用扩散模型进行交互式音乐生成的新方法，可以在消费级硬件上运行。LMDMs 通过块状 KV 缓存优化推理效率，并引入 ARC-Forcing 以在没有显式强化学习的情况下实现稳定的训练后对齐，从而改进了现有方法。这些模型已在各种创意应用中得到演示，包括文本条件生成、基于草图的合成以及实时艺术家-AI 协作，充当“生成延迟”以通过可变的音色效果转换即兴创作。