XOR-Trellis

新研究探索LLM的高级量化技术 · 已追踪10个来源

多篇研究论文介绍了量化大型语言模型（LLMs）的新技术，以减少其计算和内存占用。这些方法旨在提高效率，同时不显著牺牲性能。方法包括激活量化的优化旋转、面向量化感知训练的最小范数优化，以及用于部署对齐的量化感知蒸馏框架。其他研究侧重于超低复杂度反量化、重新思考优化损失尺度以及量化的联合交替细化，所有这些都有助于使LLMs更易于访问和更高效。