UD quantization

推荐Q4_K_M用于本地LLM量化，平衡质量和显存

文章推荐Q4_K_M量化作为大多数本地LLM用户在质量和显存效率之间取得最佳平衡的选择，可保留93-96%的FP16质量。对于拥有更多显存的用户，Q5_K_M在复杂推理和创意任务方面提供了显著的改进。Q3_K_M等较低的量化级别被视为在显存受限情况下的折衷方案，而Q6_K和Q8_0的收益递减，Q2_K及以下由于质量严重下降而被视为最后的选择。