Quantile-Guided Density Estimation

新方法通过词汇表估计LLM训练数据构成

研究人员开发了一种名为量化引导密度估计（QGDE）的新方法，用于估计大型语言模型（LLM）的隐藏训练语料库的构成。该技术利用已发布的tokenizer词汇表，表明token ID到比例的分布在不同语料库中是稳定的。QGDE使用量化趋势和局部密度加权来近似这些分布，在受控和现实场景中都实现了低估计误差，包括使用SmolLM tokenizer。研究结果表明，tokenizer词汇表可以提供对细粒度语料库估计的有价值的见解，超越了广泛的混合推断。