BITEMBED

新的 BITEMBED 框架大幅降低了大型语言模型嵌入成本

研究人员开发了 BITEMBED，一个旨在为大型语言模型创建高效文本嵌入的新颖框架。该方法使用三元权重和量化激活将大型语言模型主干转换为低比特编码器，显著降低了计算成本和存储需求。BITEMBED 通过对比预训练和微调进行适应，并支持多种输出精度以平衡性能和存储需求。实验表明，BITEMBED 在提供显著效率提升的同时，实现了与全精度模型相当的性能。