最近的一项基准测试在 Jetson Orin Nano Super 上测试了 Bonsai LM 的 1 位和 1.58 位模型，参数范围从 1.7B 到 8B。测试使用 llama.cpp CUDA，重点关注不同功耗模式（7W、15W、25W、MAXN）下的性能。主要发现表明，对于高达 4B 参数的模型，25W 是能效最优选择，而对于 8B 模型，15W 是更节能的选择。未观察到热节流，峰值温度远低于硬件限制。 AI
影响 为在边缘设备上高效部署 LLM 提供了见解，告知操作员有关性能权衡的信息。
排序理由 这是在特定硬件上对现有模型的基准测试，并非新模型发布或重大的行业事件。[lever_c_demoted from research: ic=1 ai=0.7]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
