Ladderpath

基于AIT的新方法在文本分类任务上超越BERT

研究人员开发了一种基于算法信息论（AIT）分析文本结构的新方法，利用Ladderpath方法识别序列中的嵌套和分层重复。该方法定义了三种新的距离度量，当与k近邻分类器集成时，在文本分类任务（包括分布外和少样本场景）中表现出色。这些Ladderpath派生的距离在这些具有挑战性的环境中优于基于gzip的归一化压缩距离（NCD）和BERT，为序列理解提供了一种轻量级、可解释且无需训练的替代方案。