Gopalakrishnan Srinivasan

AI拒绝机制被发现跨架构一致

研究人员发现，语言模型中的“拒绝”能力（AI安全的关键方面）是由模型内部运作中的一个单一方向控制的。这一最初在Transformer架构中观察到的发现，即使在信息处理机制不同的状态空间模型（SSMs）中也得以保留。研究表明，这种“拒绝方向”可以在不同架构之间对齐，从而使在一种模型类型上训练的安全工具能够有效地标记另一种模型中的有害输入。此外，研究表明，“写入点”（一个层在计算其输出后将其添加到主数据流之前的位置）对于读取这种安全表示至…