llama.cpp 项目发布了 1.0.0 版本,为其服务器功能引入了重要的安全增强。此次更新包括加强了对服务器端请求伪造 (SSRF) 和 DNS 重绑定攻击的防护,并要求在绑定到非回环地址时,工具需要选择加入。此外,该版本还集成了先进的硬件加速功能,如 CUDA FP8、Vulkan 和 Intel flash attention,以及用于提高性能的 Hexagon Q5 量化。 AI
影响 提高了本地 LLM 推理的性能和安全性,可能促进自托管模型的更广泛采用。
排序理由 这是一个用于运行大型语言模型的工具的软件发布,而不是前沿模型发布或核心 AI 研究。
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →