Zstandard
PulseAugur coverage of Zstandard — every cluster mentioning Zstandard across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Cadence 使用基础模型进行误差有界时间序列压缩
研究人员开发了 Cadence，一种新颖的、用于时间序列数据的误差有界有损压缩系统。Cadence 集成了 Google 的 TimesFM-3 基础模型和一个自适应算术编码器，以确保样本级精度保证。该系统在能源需求和交通客流数据上，相比经典预测器显示出显著的改进，并且在现有方法上取得了相当大的优势。
-
Loreley 系统使用质量-多样性搜索进行大规模程序演化
研究人员开发了 Loreley，一个使用质量-多样性 (QD) 搜索进行大规模程序演化的新系统。与仅累积单个最佳版本更改或从头开始的传统方法不同，Loreley 维护着存储库状态的完整存档。这使得它能够将过去的版本作为父代进行采样，或为未来的编辑提供上下文，旨在提高搜索的广度同时保留进度。将 Loreley QD 与顺序冠军编辑和独立根提议进行比较的初步实验显示结果好坏参半，在特定的作业计数下，顺序冠军编辑的表现略好。
-
Diffusion LMs 推动无损文本压缩，超越 LLMs 和 zstd
研究人员引入了扩散语言模型（DLMs）作为无损文本压缩的新方法，旨在克服现有自回归 LLM 方法的吞吐量限制。该新框架在最近的 arXiv 论文中进行了详细介绍，通过解决符号编码决策的相关挑战来适应 DLMs 进行压缩。在 enwik8 基准测试上的实验结果表明，基于 DLM 的框架实现了最先进的压缩比，超越了 zstd 和 gzip 等传统压缩器，并且性能优于之前的基于 LLM 的压缩技术。
-
Simon Willison 制作 SQLite 文本历史记录压缩原型
Simon Willison 提出了一种在 SQLite 数据库中存储修订历史记录的新颖方法，通过压缩所有先前文本版本的 JSON 数组来实现。这种方法利用 zlib 或 Zstandard 等压缩算法来显著减少存储空间，一个原型展示了将文档的 1,000 次修订从 20.4 MB 压缩到 80.3 KB。为了进一步优化性能，有人建议将历史记录分成多个行，每行包含最多 128 次修订或 3MB 的未压缩 JSON，以避免在每次编辑时解…
-
新的 Token 原生存储方法或将使 AI Agent 受益
一篇新的研究论文提出“Token 原生存储”作为一种更有效的方法来存储 AI Agent 使用的文本数据。该论文建议直接将文本存储为 Token ID，而不是传统的 UTF-8 编码，因为 Token ID 是语言模型处理的内容。这种方法通过消除字符和 Token 格式之间持续转换的需要，可以显著减小存储大小并加快数据访问速度，潜在速度提升高达 600 倍。作者还提倡在不同模型系列之间标准化 Tokenizer，以实现 Token 化…
-
Brevis系统为无损张量压缩合成程序
研究人员开发了Brevis，一个将无损张量压缩视为程序合成问题的创新系统。Brevis利用具有可逆运算符的领域特定语言（DSL）来捕获张量结构，从而能够合成紧凑的、可执行的重构程序。该方法在10个大型模型检查点上实现了33.93%的存储空间缩减，优于Zstandard和GZIP等通用压缩器以及ZipNN和DFloat11等张量特定方法。Brevis还展示了高速的压缩和解压缩速率，同时确保了比特精确重构。
-
玩家使用自定义格式将 80TB Minecraft 服务器地图压缩至 15TB · 已追踪 2 个来源
一群 Minecraft 玩家成功地映射并压缩了该游戏最古老的无政府服务器 2b2t 的 80TB 数据，并将其压缩至 15TB 下载。这项名为 2b2tplace 的纪念性保存工作耗时 22 个月，动用了 28 个机器人账户来映射所有三个 Minecraft 维度中的一百万多个方块。为了实现这一目标，该团队开发了一种名为 .zvcr 的自定义压缩格式，该格式利用 Zstandard 算法，与标准的 Minecraft 格式相比，压缩率更高。
-
LLM在源代码压缩方面比通用工具好82%
研究人员开发了一种使用大型语言模型（LLM）进行无损源代码压缩的新方法，该方法优于现有技术。这种称为阈值符号排序的方法将LLM的预测限制在排名靠前的符号，并将异常单独存储。对30个LLM的评估表明，该方法比以前的基于LLM的压缩器实现了高达37%的更好压缩率，并且速度快40%。虽然仍然比zstd等通用压缩器慢，但与它们相比，它提供了高达82%的显著改进的压缩增益，证明了LLM在捕捉源代码独特规律性方面的有效性。