Tahoe-x1

基础模型扰动预测可靠性与低秩解码器瓶颈相关

研究人员在基础模型预测器的状态转换解码器中，特别是在第一个注意力层中，发现了一个低秩瓶颈。这个瓶颈限制了扰动响应预测的可靠性，随着距离训练数据的增加，准确性会下降。提出的一个指标，预测的NN距离（predicted-NN-distance），它衡量从预测响应到其最近训练响应的余弦距离，作为每个预测的置信度得分。该得分与实际预测可靠性显示出很强的相关性，并且可以进行校准以在不同的编码器和细胞系之间转移。