研究人员开发了一种名为Compander-Aligned Queries for Zeroth-Order Optimization (CAQ-ZO)的新方法，以改进量化模型的内存高效适应性。该技术解决了低比特量化会扭曲零阶优化所需的连续有限差分的问题。CAQ-ZO将查询几何与量化过程对齐，确保用于损失测量的四舍五入弦能准确反映预期的更新方向。实验表明，CAQ-ZO在微调过程中增强了Qwen和Llama等量化模型的性能。 AI
影响 增强了量化模型的效率，可能使其能够在资源受限的设备上部署。
排序理由 该集群包含一篇学术论文，详细介绍了量化机器学习模型的新优化方法。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
