Intel UHD Graphics 615

新的 WebGPU LLM 引擎已针对 llama.cpp 进行数值精度验证

一个基于 WebGPU 的新型 LLM 推理引擎 quipullm 已被开发出来，并与成熟的 llama.cpp 库进行了严格的验证。该引擎完全用 WGSL 和 JavaScript 从头编写，直接在浏览器中运行，并支持标准的 GGUF 文件。验证侧重于数值精度而非主观文本质量，使用了合成模型，并将 token ID、最后一个 token 的 logits 和贪婪续写与 llama.cpp 的输出进行比较。这种方法可以检测到细微的错误…