PulseAugur
中
实时 00:04:47
English(EN) LocUS: Head Selection and Subspace Projection for Targeted Activation Steering

新的LocUS方法通过目标激活引导来引导LLM行为

作者 PulseAugur 编辑部 · [1 个来源] ·

研究人员开发了LocUS（Localized Unembedding Steering），一种在推理过程中控制大型语言模型而无需重新训练的新颖方法。该技术通过在解嵌入矩阵中识别特定属性的线性子空间来引导模型行为，从而将引导变换限制在目标子空间和稀疏的注意力头子集中。跨多个模型系列的评估表明，LocUS在毒性缓解和情感重定向等任务中，其性能与现有方法相当或更优，同时仅干预不到6%的参数，并能更好地保留模型的整体能力。 AI

影响 该方法提供了一种更精确、更有效的方式来引导LLM行为，有可能在不牺牲通用能力的情况下提高安全性和定制性。

排序理由 该集群包含一篇研究论文，详细介绍了一种控制LLM的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.LG 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的LocUS方法通过目标激活引导来引导LLM行为

报道来源 [1]

  1. arXiv cs.LG TIER_1 English(EN) · Irene Tallini, Lorenzo Basile, Valentino Maiorca, Francesco Locatello, Alberto Cazzaniga ·

    LocUS：用于目标激活引导的头部选择和子空间投影

    arXiv:2609.31122v1 Announce Type: cross Abstract: Activation steering is a powerful training-free paradigm for controlling large language models at inference time. However, standard approaches estimate a per-layer steering direction from contrastive data and apply it on the layer…

相关实体

相关话题