Tak

用户开发的 Qwen3.8-27B 量化模型在 15% 体积下达到 BF16 推理性能

一位用户开发了一种名为 TAK 的任务感知量化方法，该方法在 Qwen3.8-27B 模型上实现了 BF16 推理性能的 99%，同时将其体积减小了 85%。该方法通过从特定任务数据创建 imatrix 并分配张量预算来实现，与 Unsloth 的标准量化相比，在 Gemma 和 Qwen 等多种模型上均显示出显著的改进。虽然该方法在推理任务上效果显著，但用户指出目前的量化模型在编码应用中可能会遇到重复循环问题，并计划进一步研究。