Merkle--Damgard constructions

研究人员将密码函数映射到 Transformer 网络

研究人员探索了 Transformer 网络在密码学上的能力，研究这些模型是否可以实现特定的密码函数。该研究将 Keccak 函数、Merkle--Damgard 构造和 Merkle 树等密码构造映射到 Transformer 架构，推导出电路宽度和深度的缩放定律。这项工作建立了一种评估 Transformer 计算能力的方法，并为给定大小的 Transformer 可以计算的内容提供了建设性的上限，有助于对 AI 系统的能力进行原则性评估。