Halting heads

新研究质疑循环语言模型中停止头的效率声明

研究人员在循环语言模型的停止头实现中发现了两个关键问题，这些模型旨在通过允许标记提前停止处理来节省计算资源。第一个问题是，当前的训练方法根据所有可能迭代的混合来对标记评分，这不能准确反映标记的实际停止点。这导致计算节省被高估。第二个问题出现在模型批量处理序列时；在这种情况下，没有停止头的模型与有停止头的模型性能几乎相当，这进一步夸大了感知到的效率提升。该研究建议改进报告方法，包括停止阈值和批量大小，以提供更准确的计算节省量度。