b11756

llama.cpp 更新服务器，arXiv 发布新的 AI 研究论文 · 跟踪 3 个来源

llama.cpp 项目发布了 b11756 版本，改进了其服务器功能。具体来说，它现在通过 Anthropic /v1/messages 转换传递 id_slot，确保更好地处理 KV 缓存并防止不必要的预填充。此更新还添加了一个测试来验证 id_slot 功能。另外，arXiv 上发布了两篇新的研究论文：一篇探讨了具有链式思考推理的 transformer 如何发现像 Heavy-Ball 这样的加速算法，另一篇介绍了 VampP…