OptiqEngine

OptiQ 克服 MTP 集成障碍，加速 Apple Silicon

尽管最初期望能快速实现，OptiQ 的开发团队在将其多令牌预测 (MTP) 集成到其 OptiqEngine 以支持 Apple Silicon 时遇到了重大挑战。他们识别并解决了三个关键问题：因两次加载模型导致的内存重复过多、在更高温度下对推测性解码的验证方法不正确，以及需要在草稿和验证路径上始终如一地应用采样截断。这些修复最终使他们能够为 Qwen3.5 模型实现 1.4 倍的加速，与之前发布的基准测试结果相符。