HE-OFT

新的HE-OFT协议支持隐私保护的联邦大语言模型微调

研究人员开发了HE-OFT，一种用于隐私保护的联邦大语言模型微调的新型协议。该方法允许多个参与方协作微调模型，而任何参与方都不会获得完全训练好的模型，从而解决了与受监管或专有资产相关的隐私问题。HE-OFT通过让客户端仅微调低秩适配器和分类器头，上传使用多方CKKS加密组合的加密贡献，而无需服务器解密来实现这一点。该协议表现出强大的性能，保持了公开模型85-96%的准确率，同时显著减少了数据传输需求。