一款名为 resk-logits 的新开源工具已发布，通过在 token 被采样之前，在 logits 层面拦截有害内容，从而增强 LLM 的安全性。该 GPU 加速处理器使用 Aho-Corasick 算法扫描整个词汇表以查找恶意模式，将匹配 token 的 logits 设置为负无穷以实现硬拦截，或在“影子禁令”模式下应用惩罚。它使用 CUDA 和 Metal 后端开发，开销低于毫秒，并兼容任何 Hugging Face AutoModelForCausalLM。 AI
影响 通过提供低延迟、架构级别的有害内容拦截机制来增强 LLM 的安全性。
排序理由 新的 LLM 安全开源工具发布。
- Aho–Corasick algorithm
- AutoModelForCausalLM
- CUDA
- GitHub
- Hugging Face
- LLM
- Metal
- Python Package Index
- resk-logits
- RTX 4090
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
