WordFreq

大型语言模型通过策略性删除和重建实现有损文本压缩

研究人员开发了一种新颖的有损文本压缩方法，通过策略性地删除文本部分并使用大型语言模型（LLMs）重建原始内容。在BBC新闻数据集上的实验表明，在较低的保留率下，由词频指导的删除是一种具有竞争力且高效的基线方法。在适度的压缩级别下，语义和混合方法显示出更强的优势。研究还发现，QLoRA微调产生的本地解码器可与Gemini 2.0 Flash媲美，并且总体框架被证明可以跨不同语言和数据集转移，尽管最优删除规则因数据集而异。