一篇新发表在arXiv上的研究论文探讨了在差分隐私随机梯度下降（DP-SGD）下对解码器专用大型语言模型（LLM）进行微调时，权重绑定的影响。研究发现，在SST-2和QNLI等基准测试中，分离输入和输出嵌入层的模型始终优于权重绑定模型，准确率提升高达4.74%。此外，分离的嵌入层通过启用幽灵裁剪（ghost clipping），使得DP-SGD训练更节省内存，与权重绑定模型相比，内存使用量降低了60%以上。 AI
影响 分离的嵌入层为私有LLM微调提供了一种更有效、更高效的方法，可能影响未来的模型设计。
排序理由 该集群包含一篇详细介绍LLM架构和训练方法研究结果的论文。
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2609.40335v1 Announce Type: new Abstract: Differentially Private Stochastic Gradient Descent (DP-SGD) is a leading approach for privacy-preserving fine-tuning of large language models (LLMs). Many decoder-only LLMs employ weight tying between input and output embeddings, a …
Weight tying costs private LLM training 4.74 accuracy points Untying input and output embeddings in decoder-only LLMs lifts accuracy up to 4.74 percentage points under differential privacy fine-tuning. https://www. notatechguy.com/weight-tying-c osts-private-llm-training-4-74-acc…