AutoIndexer

AutoIndexer 模型支持灵活编辑 LLM 输出

研究人员开发了 AutoIndexer，这是一种新颖的生成模型，旨在通过模拟“编辑链”来处理非因果排序的数据。这种方法允许模型通过插入、替换和删除 token 来灵活地修改其先前的输出，类似于文本编辑器。该模型学习预测标记 token 并导航 token 序列中的光标来执行这些编辑。AutoIndexer 的训练方法包括用逆向编辑操作扰乱真实标签，使其能够稳健地纠正错误并适应代码纠正等任务，同时保持在标准 LLM 基准测试上的性能。