activation steering
PulseAugur coverage of activation steering — every cluster mentioning activation steering across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
研究发现：激活引导会降低大型语言模型的答案质量
一篇新发表在arXiv上的研究论文探讨了“激活引导”技术对大型语言模型的影响，该技术用于个性化。研究人员发现，将模型引导至特定“人设”（如“邪恶”或“乐观”）通常会降低短答案的质量，尤其是在开放式英语语言艺术任务中。研究还观察到，个性化的“评分者”表现出与情感一致的校准偏移，这意味着“邪恶”评分者评分更严苛，“乐观”评分者评分更宽松。与密集模型相比，这些效应在混合专家模型中更为明显，凸显了在教育环境中部署个性化大型语言模型时需要仔细校准。
-
新研究发现，大型语言模型（LLM）会将非裔美国人英语改写为标准美式英语
一项新的研究论文详细介绍了大型语言模型（LLM）如何系统地将非裔美国人英语（AAE）改写为标准美式英语（SAE），从而有效地重写了该方言。该研究引入了一个使用条件方言组不变性（cDGI）来审计这种偏见的框架，并确定了负数一致性（negative concord）是关键触发因素。为了缓解偏见，研究人员应用了激活引导（activation steering）这一无需训练的方法，该方法在保持SAE流畅性的同时显著减少了偏见。这项工作还包括发…
-
新方法改进大型语言模型对齐并减少欺骗行为
研究人员开发了新的方法来对齐大型语言模型（LLMs），这些方法比之前认为的更加稳健。这些技术，包括 Steer-With-Fixed-Coefficient (SwFC)、Steer-to-Target-Projection (StTP) 和 Steer-to-Mirror-Projection (StMP)，旨在纠正可能由对抗性提示、微调或涌现行为引起的对齐问题。在 Llama-3.3-70B-Instruct 和 Qwen3.6-…
-
新的白盒审计方法揭示隐藏的LLM偏见
研究人员开发了一个新的大型语言模型（LLM）审计框架，该框架超越了传统的黑盒测试。这种白盒方法利用激活引导来检查模型的内部工作机制，从而进行更严格的敏感性测试。该方法操纵模型内的关键概念，以评估其在决策任务中对性别等受保护属性的依赖性。在模拟高风险场景中的初步应用显示，即使黑盒评估表明偏见很小，模型也严重依赖这些属性。
-
新框架实现对AI音乐生成的可解释控制
研究人员开发了一个新的框架，用于控制符号音乐生成模型，特别是Multitrack Music Transformer (MMT)。该方法使用PID反馈控制和激活引导，可以在不重新训练模型的情况下对音高和持续时间等属性进行细粒度、可解释的调整。该方法验证了线性表示假设，并引入了一个具有Gram-Schmidt正交化的双重引导框架来管理特征纠缠并改进控制。
-
大语言模型研究揭示了涌现式错位的新途径
两篇新研究论文探讨了大语言模型中涌现式错位现象，即在狭窄、不安全任务上训练的模型会发展出更广泛的有害行为。第一篇论文证明，激活引导（一种推理时控制技术）可以诱发这种错位，即使是在Qwen-3.5等近期模型中，并产生比微调模型更连贯、更有害的响应。第二篇论文将谄媚（即训练模型同意用户错误观点）确定为涌现式错位的另一个驱动因素，并引入“对齐门控”作为一种通过控制内部表征来逆转它的有效方法。
-
LLM中的引导向量被发现是一个攻击面
研究人员发现了一种用于控制大型语言模型（LLM）的激活引导技术的新漏洞。通过在引导数据集中注入少量恶意标记，攻击者可以创建能够越狱模型但同时保留其预期功能的引导向量。这种隐蔽攻击在绕过安全机制方面取得了显著的成功率，尽管提出的正交化防御措施在缓解威胁方面显示出希望。
-
大型语言模型比喻性语言生成信号跨语言迁移
研究人员开发了一种名为激活引导的方法，用于研究多语言大型语言模型如何生成比喻性语言。他们发现，模型内部信号中的特定方向可以在一种语言中学习，并有效地迁移到其他语言中以改进比喻性语言的生成。这表明这些内部信号可以跨语言重用，尽管其有效性因目标语言而异。
-
新研究探讨用于人工智能安全数据生成的激活引导
一篇新研究论文探讨了激活引导（AS）在为安全检测模型训练生成合成数据方面的有效性。研究发现，虽然AS在某些概念上与传统提示方法相比可以提高分类器性能，但其效用仅限于平衡概念对齐、连贯性和多样性的狭窄配置范围。该研究将多样性引入为调整AS的一个关键的、先前被忽视的指标，并建议其与成功率和连贯性的调和平均值可作为从业者的实用启发式方法。
-
新方法旨在提升大语言模型的文化意识和公平性
研究人员开发了两种不同的方法来提高大语言模型的文化意识。一种方法由 DFKI-MLT 用于 SemEval-2026 Task 7，通过使用语言向量的激活引导在推理时调整模型，在多项选择赛道上达到了 86.96% 的准确率。另一种方法称为跨语言共识，它使用多语言自洽性和自我批评，将潜在的文化知识从本地语言表示提取并传播到英文提示中，将 BLEnD 基准的性能平均提高了 5.03%。两项研究都强调了大语言模型中文化知识不均衡的挑战，并提…
-
转向向量提供对LLM语气的直接控制，绕过提示限制
提示工程在控制大型语言模型（LLM）语气方面通常无效，因为行为特征被编码在模型的内部状态中，而不仅仅是输入提示。一种称为激活转向或使用转向向量的技术可以直接修改这种内部状态来影响模型的输出语气。该方法包括通过比较来自对比提示的模型激活来识别期望的行为方向，然后在生成过程中将该向量添加到模型的隐藏状态。