Together AI推出了一种新颖的大型语言模型后训练量化技术YAQA。该方法旨在通过直接最小化KL散度来比现有算法更有效地保留原始模型的输出。YAQA通过近似KL散度的Hessian来实现这一点，与当前的舍入方法相比，KL散度降低了30%以上，并在下游任务上提高了性能。 AI
影响 YAQA改进的量化技术有望以最小的性能下降，更高效地部署大型语言模型。
排序理由 该集群描述了来自AI研究组织的一篇新技术论文和方法发布。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
