一篇新发表在arXiv上的研究论文,探讨了后训练量化(PTQ)技术在文本嵌入器上的有效性。研究发现,PTQ的常用启发式方法,例如保护嵌入表和根据模块敏感度分配比特,并不能可靠地迁移到检索嵌入器上。该研究在各种比特宽度和组大小下对模型进行量化,揭示了在较低比特宽度下,模块敏感度变得依赖于嵌入器家族,并且一个简单的重建代理在选择需要保护的张量方面不太可靠。 AI
影响 研究结果可能导致用于文本嵌入器高效部署的策略得到修订,从而可能降低计算成本和内存占用。
排序理由 该集群包含一篇详细介绍文本嵌入器后训练量化技术研究结果的研究论文。
- arXiv
- Hugging Face
- Int4
- INTS2
- NDCG@10
- NOTCH4
- Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal
- Text Embedders
- attention
- Embedding table
- Feed-forward blocks
- INT4/g16
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →