ReconSpan

ReconSpan 方法通过重建引导的分块改进文本分词

研究人员开发了一种新颖的自适应潜在分词方法 ReconSpan，该方法将细粒度的文本输入映射到更短的连续表示序列。该方法将文本划分为块，使用反向解码器从单个上下文前缀代码中重建这些块，然后将该前缀代码保留为每个块的潜在令牌。在分块形成过程中应用的重建标准允许单个训练过的自动编码器实现 6.5 到 12.2 的平均块长度，在匹配长度下比随机边界保留更多文本。虽然读者可以从生成的潜在序列中可靠地提取主题信息，但他们在回忆具体细节方面面临挑战。