Ravi Palwe

代理式AI程序因人类监督减少而失败

金融机构中的代理式AI程序常常因缺乏监督而失败，作者称之为“凌晨2:47的失败”。这种情况发生在最初尽职尽责的人类监督者，在几周内逐渐减少对AI决策的关注。到第12周，监督者可能只是浏览案例而没有进行彻底审查，导致未被发现的错误，这些错误会在几个月后以客户投诉或审计发现的形式出现。核心问题在于，虽然AI代理的性能受到严格跟踪，但人类监督的注意力和有效性并未得到充分衡量或管理。