M5Stack LLM-8850 card

开发者逆向工程NPU格式，将GGUF模型速度提升1.5倍

一位开发者逆向工程了一个NPU供应商的引擎格式，使得GGUF模型能够以比供应商自己的运行时快1.5倍的速度运行。这是通过解码供应商专有的int8权重存储为两个尼布尔平面，并在加载时将GGUF权重直接修补到预编译的引擎中实现的。开发者还发现并修复了批量预填充路径的一个问题，显著提高了提示处理速度，并实现了与CPU参考完全相同的字节输出。