Socio-Technical Systems

新研究提出用于AI安全的“目标揭示”指标

一篇新研究论文引入了“目标揭示”作为一种指标，以弥合AI安全领域中信息论赋权与基于能力的人类权力之间的差距。该论文提出，这一源自Fano不等式的指标可以作为理解AI代理行为与人类潜在目标对齐程度的下界。论文强调了AI可能在最大化赋权的同时未能真正服务于人类目标，从而导致潜在的失效模式，并建议监控交互日志中的“满意度底线”对于确保已部署AI系统中人类权力的保留至关重要。