QCOC

新的QCOC方法提升表格数据的上下文学习能力

研究人员开发了一种名为查询校准算子压缩（QCOC）的新方法，以提高表格数据上下文学习的效率。QCOC通过将上下文示例的完整KV缓存编译成跨查询的紧凑共享内存来解决准确性-吞吐量之间的权衡问题。该方法将示例状态聚类成联合KV原型，在显著加快推理速度的同时保留了关键信息。在OpenML CC18数据集上的实验表明，QCOC实现了与完整上下文推理相当的高准确率，并提供了比动态检索方法显著的加速。