The Alignment Auditor

大语言模型安全研究探索量化、温度和贝叶斯审计

新研究探索了大语言模型部署策略与安全对齐之间复杂的相互作用。一项研究调查了量化和采样温度如何共同影响模型安全，发现虽然标准量化通常是中性的，但较高的温度会显著增加脆弱模型的instability。另一篇论文引入了一个自适应安全上下文学习框架，通过使模型能够动态决定何时咨询安全规则来缓解安全-效用权衡。第三种方法提出了一种用于审计大语言模型目标的贝叶斯框架，量化不确定性并提供诊断以验证和完善对齐，朝着更值得信赖的AI迈进。