PulseAugur
中
实时 08:13:21
English(EN) b9501: tests : refactor test-save-load-state to accept token input (#24073)

llama.cpp b9501 重构 state 保存测试以支持 token 输入

作者 PulseAugur 编辑部 · [1 个来源] ·

llama.cpp 项目发布了 b9501 版本，其中对其 test-save-load-state 功能进行了重构。此次更新允许测试接受 token 输入，如果未提供 prompt，则默认生成随机 token，这对于缺少分词器的模型很有益。更改还涉及提前分词以及使用新的 API 函数访问词汇表。 AI

影响 改进了一个流行推理引擎的测试框架，可能导致更稳定、更高效的模型执行。

排序理由 这是一个开源推理项目的软件发布，属于研究/开发范畴。[lever_c_demoted from research: ic=1 ai=0.7]

在 llama.cpp — Releases 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

llama.cpp b9501 重构 state 保存测试以支持 token 输入

报道来源 [1]

  1. llama.cpp — Releases TIER_1 English(EN) · ggerganov ·

    b9501: tests : refactor test-save-load-state to accept token input (#24073)

    <ul> <li>tests : refactor test-save-load-state to accept token input</li> </ul> <ul> <li>Default prompt is now empty; when not provided, generate n_batch<br /> random tokens (useful for models without a tokenizer)</li> <li>Tokenization happens once upfront; pass token vector to t…

相关实体

相关话题