一位 Reddit 用户分享了 StepFun 3.7 Flash 模型在配备 128GB RAM 的 M5 Max 芯片上的基准测试结果。该模型在 16k tokens 以下的短上下文窗口下表现出快速响应的性能。对于长达 64k 的上下文长度，性能仍然可用，尽管在更高上下文时内存使用成为一个因素。 AI
影响 提供了本地部署 LLM 的性能数据，帮助用户进行硬件选择和设定预期。
排序理由 用户生成的开源模型基准测试。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
