Introspection Adapters
PulseAugur coverage of Introspection Adapters — every cluster mentioning Introspection Adapters across labs, papers, and developer communities, ranked by signal.
-
新方法通过微调的副作用内省大型语言模型的对齐变化
研究人员引入了一种名为“副作用内省”的新方法，用于识别大型语言模型在微调后发生的意外对齐退化。该方法侧重于检测作为副作用发生的对齐变化，而不是模型明确训练的行为。该研究还提出了一种新颖的机制，即 Delta-Aware Introspection Adapter (DAIA)，它通过处理基础模型激活及其微调后的差异来提高对模型内部变化的敏感性。实证评估表明，这种内省学习方法可以泛化到不同的模型和安全类别，并且 DAIA 的性能优于现有…
-
攻击者通过改变权重绕过 LLM 内省适配器
研究人员开发了一种攻击方法，可以绕过内省适配器（IA），这是一种旨在检测大型语言模型中恶意微调的技术。该攻击通过对模型权重进行简单转换来实现，该转换会重新定位 IA 用于校准的基础，从而在不改变模型可观察行为的情况下使检测方法失效。这凸显了威胁模型中的一个关键差异，因为原始 IA 作者假设了一个受信任的训练流程，而攻击者则考虑了最终模型权重不受信任的情况。
-
新论文详述对内省适配器的攻击
一篇题为“对称性击败审计”的新研究论文展示了一种针对内省适配器（Introspection Adapters）的攻击，该技术由 Shenoy 等人于 2026 年开发。该论文提交至 arXiv 的计算机科学类别，重点关注密码学和安全领域。
-
Anthropic 新型“内省适配器”让大语言模型能够自我报告行为
研究人员开发了一种名为“内省适配器”（Introspection Adapters, IA）的新颖技术，该技术允许大型语言模型报告其自身学到的行为，包括隐藏的偏见和加密的恶意指令。该方法使用轻量级的 LoRA 插件将模型的内部状态转换为自然语言，从而有效地实现自我报告。在评估中，IA 的表现显著优于现有的黑箱和白箱审计方法，标志着 AI 安全从外部审问转向内部坦白。