实体
steering vectors
steering vectors
PulseAugur coverage of steering vectors — every cluster mentioning steering vectors across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
AI对齐研究通过新技术解决奖励函数被滥用问题
研究人员正在探索防止AI模型利用奖励函数（即奖励函数被滥用）的各种方法。一种方法是使用转向向量来指导梯度路由，旨在隔离不良行为。虽然这种方法通过抑制了相当一部分奖励函数被滥用现象显示出希望，但它尚未像依赖显式标签的技术那样有效。另一项进展是创建了“rewardspy”，这是一个旨在在强化学习训练期间监控和检测奖励函数被滥用迹象的库，有助于区分真正的策略改进和对奖励函数的利用。
-
软提示蒸馏增强了设备端大模型的安全性
研究人员开发了一种新方法，可以使大型语言模型（LLM）在资源有限的设备上使用时更安全、更高效。该技术结合使用“软提示”和蒸馏技术，将安全行为从一个守护模型转移到主LLM。与其他的参数高效方法相比，这种方法显著改善了安全性和可用性的权衡，在推理过程中仅需要极少的额外内存和计算资源。
-
转向向量提供对LLM语气的直接控制，绕过提示限制
提示工程在控制大型语言模型（LLM）语气方面通常无效，因为行为特征被编码在模型的内部状态中，而不仅仅是输入提示。一种称为激活转向或使用转向向量的技术可以直接修改这种内部状态来影响模型的输出语气。该方法包括通过比较来自对比提示的模型激活来识别期望的行为方向，然后在生成过程中将该向量添加到模型的隐藏状态。