AutoTokenizer
PulseAugur coverage of AutoTokenizer — every cluster mentioning AutoTokenizer across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新库保护患者预约聊天机器人免受提示注入攻击
一个名为 resk-logits 的新库提供了一种方法来保护像 Doctolib 使用的患者预约聊天机器人免受提示注入攻击。该库利用 GPU 加速的 Aho-Corasick 算法，实时惩罚与危险 token 相关的 logits，有效防止它们被语言模型采样。这种方法比传统的后生成过滤器提供了更强大的安全措施，因为后者可能太慢而无法阻止敏感信息被泄露。
-
新的 Python 包 reskSecure 可作为 LLM 防火墙阻止越狱
一个名为 reskSecure 的新 Python 包已被开发出来，用作大型语言模型 (LLM) 的防火墙，旨在防止越狱和提示注入。与依赖提示工程或后生成过滤的传统方法不同，reskSecure 直接干预模型的 token 生成循环。它利用一个 64 位权限位掩码来控制 LLM 被允许输出的内容，将 logits 设置为负无穷以进行硬性阻止或对偏差应用惩罚，从而增强安全性。
-
新的reskSecure方法在令牌级别阻止LLM越狱
一种名为reskSecure的新安全方法已被开发出来，用于防止针对LLM代理的提示注入攻击。与依赖提示过滤或后生成审核的传统方法不同，reskSecure在令牌级别于模型的生成循环内运行。它使用位掩码来强制执行权限，在生成不允许的短语和工具调用之前进行阻止或惩罚，从而防止敏感信息泄露。
-
Qwen 模型使用 ChatML 格式，社区改进模板
Qwen 模型（包括 Qwen2.5 系列）使用 ChatML 格式来构建对话提示，这与 OpenAI 的早期模型类似。该格式依赖于像 和 这样的特定 token，并且需要精确的换行约定才能正常工作。开发者指出，格式不正确可能导致模型输出和性能出现细微但显著的问题。此外，最近社区的努力集中在为 Qwen 模型改进和优化 Jinja 聊天模板，旨在通过严格遵循原始训练格式来确保兼容性和最佳性能。