Feed-forward blocks

研究论文质疑后训练量化对文本嵌入器的有效性

一篇新发表在arXiv上的研究论文，探讨了后训练量化（PTQ）技术在文本嵌入器上的有效性。研究发现，PTQ的常用启发式方法，例如保护嵌入表和根据模块敏感度分配比特，并不能可靠地迁移到检索嵌入器上。该研究在各种比特宽度和组大小下对模型进行量化，揭示了在较低比特宽度下，模块敏感度变得依赖于嵌入器家族，并且一个简单的重建代理在选择需要保护的张量方面不太可靠。