NeuronDump

NeuronDump 工具允许用户检查和缩小本地 LLM

一款名为 NeuronDump 的新开源工具已被开发出来，允许用户检查和修改本地大型语言模型 (LLM)。NeuronDump 使用 Rust 编写，使用户能够可视化模型的内部架构，包括层、注意力头和词汇表，并识别和移除不必要的组件。该工具支持各种模型系列，并能分析这些移除对模型性能和文件大小的影响，生成与 Ollama 和 llama.cpp 兼容的更小的 GGUF 文件。