TreeWY

新的 TreeWY 方法增强了混合 AI 模型的推测性验证

研究人员开发了一种名为 TreeWY 的新方法，用于门控 DeltaNet 混合模型的推测性验证。该技术无需对循环状态进行内存密集型快照，而是使用树状变换来计算草稿节点输出。在 Qwen3.5 模型上的基准测试表明，TreeWY 减少了内存压力并提高了吞吐量，尤其是在内存是瓶颈时，对首次令牌生成时间（time-to-first-token）有所改善。