polynomial hashing

DeepSeek 的 Engram 模块实现了 Tokenizer 无关性

研究人员在 DeepSeek 的原始设计基础上，为大型语言模型开发了一个 Tokenizer 无关的 Engram 模块。新方法用多项式哈希取代了基于 XOR 的哈希，创建了一个联合嵌入空间，允许 Engram 嵌入在具有不同 Tokenizer 的模型之间重用。此修改实现了字节等价 Token 序列的哈希等价性，在保持可比性能的同时提高了 Engram 嵌入的可重用性。