Lookup-Free Quantization

SeqFold 压缩序列模型中的用户状态，存储空间减少 3,400 倍

研究人员开发了 SeqFold，这是一种新颖的接口，旨在压缩和管理来自冻结序列模型的用户状态。该系统利用学习到的多通道融合、时间衰减和无查找量化，从这些状态创建紧凑、时间戳可寻址的离散代码。SeqFold 显著降低了存储需求，实现了 3,400 倍的缩减，同时保持了下游排名性能，使其能够有效地在各种应用中重新利用长历史序列骨架。