PulseAugur
中
实时 03:29:22

关于AI模型量化的研究论文从arXiv撤回

作者 PulseAugur 编辑部 · [1 个来源] ·

一篇题为“Depth Registers Unlock W4A4 on SwiGLU: A Reader/Generator Decomposition”的研究论文已被从arXiv撤回。该论文探讨了在3亿参数语言模型上进行训练后W4A4量化，旨在降低困惑度误差。它引入了一种名为深度寄存器（Depth Registers）并带有铰链损失（hinge loss）的方法，显著改善了量化结果，但与FP16相比仍有小差距。 AI

排序理由 该集群包含一篇被撤回的学术论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.AI TIER_1 English(EN) · Ziyang Liu ·

    深度寄存器解锁SwiGLU上的W4A4：读写器/生成器分解

    arXiv:2604.18128v2 Announce Type: replace-cross Abstract: We study post-training W4A4 quantization in a controlled 300M-parameter SwiGLU decoder-only language model trained on 5B tokens of FineWeb-Edu, and ask which input-activation sites dominate the error. Naive round-to-neares…

相关实体

相关话题