PulseAugur
中
实时 12:31:51
English(EN) Canonicalized Stable-List Replay for Private Federated Continual Learning over Language-Model Embeddings

新的CSLR方法增强了语言模型的私有联邦学习

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了一种名为规范化稳定列表重放（CSLR）的新方法，以改进语言模型的私有联邦持续学习。CSLR解决了在差分隐私下，客户端仅共享少量、嘈杂且无序的重放摘要列表的挑战。通过使用公共锚定句子在共享嵌入空间中对齐候选重放分布，CSLR增强了聚合的可识别性。实验表明，CSLR在持续分类、NER和对话任务上的性能比现有基线提高了3.9-5.6个点。 AI

影响 引入了一种新颖的技术，以提高语言模型联邦学习的隐私性和性能，可能实现更强大的设备端适应。

排序理由 该集群包含一篇详细介绍特定机器学习问题新方法的论文。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Ibne Farabi Shihab, Abu Sa-Adat Mohamed Moon-Im Al Ahsan, Anuj Sharma ·

    Canonicalized Stable-List Replay for Private Federated Continual Learning over Language-Model Embeddings

    arXiv:2606.00426v1 Announce Type: new Abstract: Federated continual learning (FCL) lets distributed clients adapt language-model heads to evolving NLP tasks without sharing raw text. Under user-level differential privacy (DP), replay-based continual learning faces a structural ob…

相关实体

相关话题