llama.cpp 项目发布了 b12498 版本,其中包括对其服务器组件中 LoRA 和 recurrent 功能的修复。此次更新还解决了 token 批处理相关的问题,尤其是在 CUDA 上,通过标准化每个 ubatch 的 token 处理,确保了更一致的测试结果。 AI
影响 提高了 llama.cpp 推理服务器的稳定性和一致性,特别是对于在 CUDA 硬件上使用 LoRA 适配器或 recurrent 计算的用户。
排序理由 这是一个特定工具的软件发布,而不是前沿模型发布或重要的行业事件。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →