NormalFloat 4-bit

面向消费级GPU的新型RAG框架，采用NF4量化进行优化

研究人员开发了一个针对消费级GPU优化的多模态检索增强生成（RAG）框架，解决了内存和带宽限制。研究发现，虽然GPTQ量化提供了更高的吞吐量，但NormalFloat 4位（NF4）在Turing架构上提供了更好的长上下文稳定性。通过将NF4与Florence-2视觉模型集成，该系统实现了具有最小VRAM开销的视觉推理。结构化提示显示延迟降低了47%，而少样本提示成功恢复了量化过程中丢失的数学准确性。