Neural Program Synthesis

神经程序合成模型在泛化到训练数据之外时遇到困难

研究人员开发了一个受控环境，以严格测试神经程序合成模型的泛化能力。他们的实验表明，虽然 Transformer 模型在已知数据上表现良好，但在生成新颖程序方面却面临显著困难，性能下降超过 30%。研究表明，增加计算能力的回报递减，遵循对数线性关系，并表明最大化跨各种流形（manifolds）的训练多样性对于稳健的泛化至关重要。研究结果强调了需要新的基于搜索的方法来克服当前的扩展限制。