一款名为 smolbenchmark 的新基准测试工具已发布，旨在帮助用户为特定硬件选择性能最佳的大型语言模型（LLM），尤其适用于内存（RAM）仅为 8GB 等资源有限的设备。与假设拥有服务器级 GPU 的传统基准测试不同，smolbenchmark 侧重于解码速度、每焦耳的 token 数以及发热量等指标。该项目旨在为包括平板电脑、手机、Mac 和单板计算机在内的各种设备提供原始数据和详细报告，使用户能够就哪些模型最适合其个人硬件做出明智的决定。 AI
影响 通过提供定制化的性能基准测试，使用户能够有效地部署和利用 LLM，即使其硬件资源有限。
排序理由 该集群描述了一个用于根据硬件限制评估和选择 LLM 的新工具。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
