Token Cache

新的缓存方法加速扩散模型推理，延迟最多可降低 6.7 倍

研究人员开发了新的方法，通过智能缓存和重用中间特征来加速扩散模型推理。OnlineCache 学习动态缓存策略和误差校正，以根据提示的复杂性和时间步的误差敏感性来调整资源分配，速度最多可提升 3 倍。FeatFix 专注于局部精确特征校正，重用已验证的特征来重置残差并减少下游误差，速度最多可提升 6.7 倍。OmniCache 采用多维分层缓存框架，利用帧内、帧间和去噪步骤冗余等各种冗余源来减少延迟，最多可降低 35%，同时不影响质量。