MTP state

新型“执行状态胶囊”加速设备端AI服务

研究人员推出了一种名为“执行状态胶囊”的新方法，用于在设备端服务过程中管理和重用AI模型的完整状态。该方法能够快速检查点和恢复AI的完整执行状态，包括KV缓存、循环状态和其他参数，超越了传统的KV缓存重用。该系统已在RTX 5090和Jetson AGX Thor等硬件上进行了演示，实现了亚毫秒级的恢复时间和交互式AI应用中首个token时间的显著加速。