Bonsai LM

Bonsai LM 模型在 Jetson Orin Nano Super 上进行基准测试

最近的一项基准测试在 Jetson Orin Nano Super 上测试了 Bonsai LM 的 1 位和 1.58 位模型，参数范围从 1.7B 到 8B。测试使用 llama.cpp CUDA，重点关注不同功耗模式（7W、15W、25W、MAXN）下的性能。主要发现表明，对于高达 4B 参数的模型，25W 是能效最优选择，而对于 8B 模型，15W 是更节能的选择。未观察到热节流，峰值温度远低于硬件限制。