Aisvarya Adeseye Mrs

新方法提高低比特大语言模型在定性分析中的准确性

研究人员开发了一种多轮提示验证方法，以提高量化大语言模型（LLMs）在定性分析中的准确性。该研究聚焦于量化到不同比特级别（8位、4位、3位和2位）的LLaMA-3.1（8B）模型，发现较低的比特级别通常会导致幻觉增加和不稳定性。所提出的方法通过受控步骤引导模型，以减少不可靠的内容，显著提高了4位模型的性能，并改善了即使是高度压缩的3位和2位模型。