William Lawvere

AI安全框架将“信念”扩展到概率分布之外

Richard Ngo 的帖子介绍了一个“不精确信念”框架，该框架超越了传统的概率分布，尤其适用于 AI 安全应用。由“davidad”开发的提议模型将信念定义为下半连续函数，并使用特定类别对其进行排序。这种方法旨在通过整合现有的各种信念形式主义（如贝叶斯信念、Infra-Bayesian 信念、MWER、PDG 和 credal sets）来更好地处理概率分布不足的情况，例如在复杂的决策制定或安全权衡中。