研究人员开发了MOMAT,一个新颖的硬件增强框架,旨在提高部署在低功耗边缘设备上的量化大语言模型(qLLM)的安全性。该系统采用多图混合(Mixture of Multiple Atlases)方法,结合结构化知识检索和专用加速器来防御越狱攻击。与传统的基于DRAM的方法相比,MOMAT显著加快了提示处理速度,并大幅降低了能耗,使得边缘LLM既更安全又更节能。 AI
影响 增强了在资源受限的边缘设备上部署安全且节能的LLM的可行性。
排序理由 该集群包含一篇学术论文,详细介绍了LLM安全的新技术框架。[lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →