ghost norm

分离的嵌入层提升私有LLM训练的准确性和效率

一篇新发表在arXiv上的研究论文探讨了在差分隐私随机梯度下降（DP-SGD）下对解码器专用大型语言模型（LLM）进行微调时，权重绑定的影响。研究发现，在SST-2和QNLI等基准测试中，分离输入和输出嵌入层的模型始终优于权重绑定模型，准确率提升高达4.74%。此外，分离的嵌入层通过启用幽灵裁剪（ghost clipping），使得DP-SGD训练更节省内存，与权重绑定模型相比，内存使用量降低了60%以上。