B65

Intel B65 GPU在Flash-Next的长上下文性能方面进行了测试

一位用户对四块Intel B65 GPU的设置进行了基准测试，以评估其在Flash-Next等模型的大上下文窗口下的性能。测试测量了各种并发请求负载和上下文长度下的令牌吞吐量，结果表明随着上下文大小的增加和请求并发度的提高，性能有所下降。用户还探索了将部分模型层卸载到系统RAM，并在此配置中为Flash-Next发现了一些有趣的现象。