一位开发者发布了 ik_llama.cpp 项目的更新版本，该项目基于 llama.cpp。此次更新侧重于混合专家（MoE）优化，旨在提供性能反馈。开发者报告称，在使用 RTX 2060（6GB VRAM）的设备上，短提示的推理速度约为 45-48 tokens/s，28K 上下文的推理速度为 37 tokens/s，预填充速度约为 430-700 tokens/s。该项目可在 GitHub 上找到，开发者在考虑合并更改之前正在征求社区反馈。 AI
影响 此次更新可能为在消费级硬件上运行本地 LLM 的用户提供性能改进。
排序理由 这是对一个开源项目的特定分叉的更新，而不是新模型发布或重大的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
