Intel B65

Intel B65 GPU 通过更大的 vLLM 块大小速度提升 30%

一位用户分享了在使用 flash-next vLLM 引擎运行 Intel B65 GPU 时的性能改进。通过将预填充块大小从默认的 1024 增加到 8192，他们观察到预填充和首次令牌时间 (TTFT) 的速度提高了约 30%。虽然更大的块大小可能会引入停顿并减少同时会话的总数，但用户在进行聊天和代理任务测试时发现这些停顿不明显，因此他们维持使用更大的块大小以提高端到端任务完成率。