Hessian Refinement

Hessian 精调在无需补丁的情况下提升 GGUF 模型性能

一种名为 Hessian 精调的新方法，源自 MACaQ 论文并融入了 Google/DeepMind 的进展，为量化 AI 模型带来了显著的改进。该技术涉及 Hessian 指导的量化选择和精度恢复，可以应用于任何 GGUF 模型，而无需更改推理软件。初步测试显示 KL 散度显著降低，性能略有提升，且速度或 VRAM 使用量均无牺牲。