一篇新的研究论文探讨了在计算机安全事件响应团队（CSIRT）的敏感数据上微调小型语言模型（SLM）时减少记忆的方法。研究发现，虽然差分隐私（DP SGD）提供了正式的隐私保证，但与匹配更新对照相比，它并未显著减少记忆。HMAC假名化可有效减少原始标识符的暴露，并且性能指标表明，在测试的训练预算下，10亿到30亿参数的SLM无法为CSIRT任务提供运行上可用的性能。 AI
影响 调查了在敏感数据上微调小型语言模型的隐私风险和性能限制，表明当前方法可能无法产生运行上可用的结果。
排序理由 一篇在arXiv上发表的研究论文，详细介绍了SLM隐私保护微调技术的实证研究。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
