resklogits

新库将 GPU 加速的惩罚应用于 LLM logits 以增强安全性

一个名为 ReskLogits 的新开源库已被开发出来，通过在 token 采样发生之前的 logits 层面进行干预来增强 LLM 的安全性。这种方法旨在通过实时对危险 token 应用惩罚来防止有害内容的生成，从而使攻击者更难利用提示注入漏洞。该库提供了一个 GPU 加速的 Aho-Corasick 算法，用于高效的模式匹配，并支持多级过滤，允许根据禁用短语的严重程度进行可配置的惩罚。