llama.cpp 项目发布了 b11856 版本,其中包含了一个用于推测性拒绝采样的新测试。该测试旨在验证在发生拒绝采样时,推测性采样中的草稿模型是否能产生与目标模型一致的 token 分布。此次发布还提到了对包括 macOS、iOS、Linux、Android 和 Microsoft Windows 在内的各种操作系统的支持,并为 Apple Silicon 和 openEuler 提供了特定配置。 AI
影响 改进了对推测性采样技术的测试,可能提高 LLM 的推理效率。
排序理由 发布了一个具有特定技术测试和平台支持更新的开源项目新版本。[lever_c_demoted from research: ic=1 ai=1.0]
- android
- Apple Silicon
- b11856
- iOS
- KleidiAI
- Linux
- llama.cpp
- macOS
- Microsoft Windows
- openEuler
- speculative rejection sampling
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →