syv-ai

HyperQwen 堆栈在 RTX 3090 上达到 118 tok/s，但高性能模式崩溃

一位开发者在一块 RTX 3090 上测试了 HyperQwen 堆栈，在聊天时达到了 118 token/秒，在逐字引用上下文时达到了 237 token/秒。与在相同模型和硬件上使用 llama.cpp 达到的 42 token/秒基线相比，这一性能显著提升。然而，声称高达 381 token/秒的更高性能模式在尝试处理大上下文大小时崩溃了，这表明了推测解码实现存在不稳定性。