Craig Schmidt

Superword分词算法实现超过600倍加速

研究人员开发了BoundlessBPE和SuperBPE算法的显著加速实现，这些算法将字节对编码（BPE）扩展为创建“superwords”（超级词），将多个预分词组合在一起。之前的版本速度慢得不切实际，在小数据集上训练需要数天。新方法按频率聚合超级合并候选，避免了将整个文档加载到内存的需求，实现了超过600倍的加速，将训练时间缩短到几分钟。Python和Rust的实现现已开源。