CPU 级分类器提供经济高效的 LLM 安全执行

一篇新的研究论文提出了 GuardChain，这是一个用于 LLM 部署的三阶段安全流水线，可显著减少对昂贵 GPU 基础设施的依赖。研究表明，CPU 级分类器可以有效地处理大部分分布内提示，以较低的成本实现接近峰值的准确率。虽然 CPU 分类器在处理分布外和对抗性混淆的输入时遇到困难，但提出的 GuardChain 流水线将它们与基于 GPU 的模型集成，以恢复这些失败，从而提供一种更具成本效益的大规模 LLM 安全执行方法。 AI

影响 通过利用 CPU 级硬件进行安全检查，展示了一条显著降低 LLM 部署成本的可行途径。

排序理由 研究论文发布在 arXiv 上，详细介绍了 LLM 安全执行的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

• central processing unit
• DeBERTa-v3
• Dhruv Kumar
• Gemma 2B
• graphics processing unit
• GuardChain
• Lora
• Mamba-130M

• 论文
• 基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →