Friedman et al.

Transformer 程序在准确性之外提供更深入的见解，改进 AI 模型训练

一篇新论文介绍了一种名为 Transformer 程序 (TP) 的方法，该方法约束 Transformer 架构生成可读的 Python 代码，从而提供超越简单 token 准确性的见解。研究人员发现，虽然 TP 可以揭示学习到的计算，但仅凭 token 准确性可能会掩盖不完整的错误答案。通过检查生成的程序，他们识别出了抽样测试遗漏的故障，并利用这些信息改进了训练数据，从而在算法任务上提高了序列准确性。该研究还强调了 TP 训练有时…