实体
Prompt Injection Detection
Prompt Injection Detection
PulseAugur coverage of Prompt Injection Detection — every cluster mentioning Prompt Injection Detection across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
新的“影响分数”衡量Transformer注意力头的影响
研究人员开发了一种新的“影响分数”来衡量Transformer模型中注意力头的影响，特别是在分类任务中。该分数结合了对输出logits的方向性影响以及模型残差流中的结构贡献，从而可以在多个层面进行分析。当应用于用于提示注入检测的DeBERTa模型时，该框架突出了正确和错误预测之间决策过程的差异，提供了一种在详细电路分析和更广泛的基于输出的方法之间的平衡。
-
新框架增强 AI 分类器可靠性并诊断决策缺陷
研究人员引入了潜在诊断分类法（Latent Diagnostic Taxonomy），一个旨在构建更强大的 AI 分类器并诊断其决策可靠性的新框架。该方法涉及优化分类器维度、识别有影响力的支持向量以及创建分类法来对提示漏洞进行分类。当应用于提示注入检测时，该框架显示很大一部分自信的决策是脆弱的，分为置信度校准失败和可利用的捷径。
-
新的提示注入检测技术利用跨领域方法
研究人员开发了七种新颖的提示注入攻击检测技术，超越了传统的模式匹配和微调Transformer分类器。这些新方法借鉴了法医语言学、生物信息学和欺骗技术等不同领域的灵感。prompt-shield v0.4.1版本整合了其中三种技术，在多个数据集上显著提高了检测率，尤其是在间接注入攻击方面，同时保持了较低的误报率。