AutoModelForCausalLM

新的开源工具可在 logits 层面拦截 LLM 越狱

一款名为 resk-logits 的新开源工具已发布，通过在 token 被采样之前，在 logits 层面拦截有害内容，从而增强 LLM 的安全性。该 GPU 加速处理器使用 Aho-Corasick 算法扫描整个词汇表以查找恶意模式，将匹配 token 的 logits 设置为负无穷以实现硬拦截，或在“影子禁令”模式下应用惩罚。它使用 CUDA 和 Metal 后端开发，开销低于毫秒，并兼容任何 Hugging Face Auto…