User Behavioral Densing Law

面向百亿级容量用户表征学习的新致密化定律

研究人员提出了一种“用户行为致密化定律”，用于表征大规模用户表征学习中数据规模与分词容量之间的关系。一项使用支付宝数据的试点研究表明，与原始数据扩展相比，分词可提供持续的性能提升。该定律源于理论分析和实验，表明最小充分分词容量的对数与输入数据大小的对数之间存在近似线性关系。该定律指导了 ALGN 的开发，这是一种自适应可变长度分词方法，可提高容量分配效率，并在各种数据源和任务中优于现有基线。