实体
GZIP
GZIP
PulseAugur coverage of GZIP — every cluster mentioning GZIP across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 3 条
-
基于AIT的新方法在文本分类任务上超越BERT
研究人员开发了一种基于算法信息论（AIT）分析文本结构的新方法，利用Ladderpath方法识别序列中的嵌套和分层重复。该方法定义了三种新的距离度量，当与k近邻分类器集成时，在文本分类任务（包括分布外和少样本场景）中表现出色。这些Ladderpath派生的距离在这些具有挑战性的环境中优于基于gzip的归一化压缩距离（NCD）和BERT，为序列理解提供了一种轻量级、可解释且无需训练的替代方案。
-
GZIP压缩算法被探索为语言模型
一篇博文探讨了使用GZIP压缩算法作为语言模型的概念，将压缩与预测进行类比。作者演示了通过预先输入文本语料库，GZIP可以生成具有一定连贯性（尽管不完美）的续写。这是通过利用DEFLATE算法的字节匹配机制实现的，其中可预测的序列会压缩成更少的字节，从而有效地充当概率模型。
-
LLM实现通过熵编码的实时文本传输
研究人员探索了使用基于LLM的熵编码进行实时文本传输的学习、预测和压缩之间的联系。他们分析了在固定速率信道上，当因果语言模型预测符号进行编码时，压缩效率与传输延迟之间的权衡。该研究比较了包括霍夫曼编码、算术编码和rANS在内的各种编码方案，发现霍夫曼编码由于其零算法延迟，适用于过度配置的信道，而算术编码则以延迟为代价提供更好的压缩效果。这些发现通过从GPT-2 (124M)到Llama 3.2 (3B)的模型进行了验证，表明更大的模型…