研究人员开发了 SpliTEE,这是一种旨在增强受信任硬件上大型语言模型 (LLM) 推理隐私的新型架构。该系统将 LLM 计算分配给一个基于 CPU 的安全可信执行环境 (TEE) 和一个更快的、不受信任的 GPU。与以前的基于加密的方法不同,SpliTEE 采用差分隐私来掩盖发送到 GPU 的中间输入,从而防止提示重建攻击。该方法将 LLM 保留在浮点域中,避免了量化,并与全基于 CPU 或基于加密的分离方法相比,实现了更快的推理速度,同时还实现了更高的准确性。 AI
影响 增强了 LLM 推理的隐私性,可能在不受信任的环境中处理更敏感的数据。
排序理由 该项目是一篇学术论文,详细介绍了一种在受信任硬件上进行 LLM 推理的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
- Boneh
- differential privacy
- graphics processing unit
- Llama 3.2:3b
- Qwen3-4B
- Shashie Dilhara Batan Arachchige
- SpliTEE
- Tramer
- Trusted Hardware
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →