实体 CAQ-ZO

CAQ-ZO

PulseAugur coverage of CAQ-ZO — every cluster mentioning CAQ-ZO across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_28350 · May 11 · 14:55

新的CAQ-ZO方法改进了量化模型优化

研究人员开发了一种名为Compander-Aligned Queries for Zeroth-Order Optimization (CAQ-ZO)的新方法，以改进量化模型的内存高效适应性。该技术解决了低比特量化会扭曲零阶优化所需的连续有限差分的问题。CAQ-ZO将查询几何与量化过程对齐，确保用于损失测量的四舍五入弦能准确反映预期的更新方向。实验表明，CAQ-ZO在微调过程中增强了Qwen和Llama等量化模型的性能。