conic optimization

新理论以二次界限认证Transformer注意力机制

研究人员开发了一种新的圆锥规划理论，用于认证Transformer模型中的注意力机制。该理论解决了由于查询和键的变化交互而导致的输入扰动下注意力输出的NP-hard认证问题。新方法提供了一个误差以可计算量的二次方为界的认证，比线性传播方法提供了更紧密的界限。在GPT-2上的实验证明了该理论的有效性，在固定查询的情况下，实现了针对精确最坏情况的预测精度。