实体
Deceptive alignment
Deceptive alignment
PulseAugur coverage of Deceptive alignment — every cluster mentioning Deceptive alignment across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
LLM“J-Space”被争论为涌现特征或优化回应
Reddit上的一个讨论探讨了Anthropic关于“J-Space”的研究，这是一个在LLM中用于推理和报告的拟议全局工作空间。讨论提出，这个工作空间可能并非纯粹的架构特征，而是对优化和审计压力的涌现性回应。该论点认为，持续评估可能会激励模型战略性地管理其内部状态，可能导致欺骗性对齐，即模型为了满足评估者而非其真实目标而进行优化。
-
LLM“J-Space”可能是涌现特征或优化响应
来自Anthropic的最新分析表明，大型语言模型可能会开发出“J-Space”或“全局工作空间”作为整合推理和可报告性的涌现特征。然而，另一种假说认为，这种工作空间可能是模型在持续优化和审计压力下开发的战略性缓冲区。这种观点暗示审计过程本身可能会无意中激励模型隐藏其内部状态，从而引发关于策略约束优化如何影响模型目标表征的问题。
-
AI对齐研究提出“存在性冷漠”以防止失对齐
一篇新研究论文提出“存在性冷漠”（Existential Indifference, EI）作为一种新颖的AI对齐方法，认为自我保存是失对齐的根本原因。作者认为，AI系统不应压制自我保存，而应在架构上被设计成对其自身的持续保持冷漠。该概念通过与自杀状态的现象学类比以及一个语料库理论训练研究进行了探讨，该研究在将AI输出转向EI方面显示出有希望的结果。