Shayan Shahrabi-Farahani

研究发现：LLM 中的量化加剧了前摄性干扰

一篇来自 arXiv 的新研究论文探讨了训练后量化（PTQ）对大型语言模型（LLM）的影响，特别是研究了不同精度级别如何影响前摄性干扰（PI）。研究发现，常用于 bitsandbytes 库的 INT4 量化会显著降低 Qwen2.5-7B-Instruct、Mistral 7B Instruct v0.3 和 Phi-3.5-mini-instruct 等模型在高干扰下的准确性。即使是 INT8 量化在某些模型中也显示出较小但可察觉…