Artur Back de Luca

Certification Hard for Transformers and Circuits

一篇新的研究论文探讨了验证神经网络（尤其是 Transformers 和电路）精确行为的难度，即使在参数过剩极少的情况下也是如此。研究表明，即使给阈值电路增加一个额外的门，也可能使所需的验证证书大小呈指数级增长。对于对数精度 Transformers 也显示出类似的硬度结果，这表明为这些模型提供精确性保证是一个计算上具有挑战性的问题。