heterodyne

开发者构建工具以查明 LLM 量化分歧

一位开发者创建了一个名为 `heterodyne` 的工具，用于分析大型语言模型不同量化版本之间的差异，特别关注 Qwen3-0.6B 模型。该工具允许逐层和逐 token 比较模型输出，从而识别量化导致分歧的位置和原因。与依赖 PyTorch 的现有可解释性工具不同，`heterodyne` 直接在 `llama.cpp` 中运行，以考虑其特定的量化方法和运行时设置。