BLT-1B

新方法改进了Byte Latent Transformer的数学问题解决能力

研究人员发现Byte Latent Transformer (BLT) 模型在依赖预测下一个字节的熵的补丁起始策略方面存在局限性。该方法忽略了类型可预测但需要计算的位置，例如数学问题中等号后的数字。一种新的方法，边界依赖性，通过衡量移除补丁起始时模型的损失增加来证明更有效。当与熵结合时，该方法显著提高了计算结果的准确性，尤其是在更大的模型规模下，其表现优于原始熵规则和随机scratchpad。