一篇新的研究论文探讨了训练后量化(PTQ)技术在文本嵌入器上的有效性,特别研究了不同的比特宽度和块保护如何影响性能。研究发现,PTQ 的常用启发式方法,例如保护嵌入表或优先考虑模块敏感性,并不能在各种嵌入器家族和比特宽度之间持续转移。研究人员还观察到,在处理极端 PTQ 时,廉价的重建代理在选择要保护的张量方面不太可靠。 AI
影响 研究结果挑战了优化文本嵌入器的现有实践,可能导致更高效的模型部署。
排序理由 该集群包含一篇详细介绍人工智能模型优化技术实验结果的研究论文。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- Hugging Face
- Int4
- INTS2
- NDCG@10
- NOTCH4
- Post Training Quantization Preprocessing Method of Convolutional Neural Network via Outlier Removal
- Text Embedders
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →