Bank of Values (BoV)

新的LLM架构将价值向量与残差流解耦

研究人员探索了一种大型语言模型中Transformer架构的新方法，提出在更深层的价值向量可能不需要来自残差流的上下文。他们的发现表明，当这些层学习无上下文的价值向量时，性能可以得到改善，并保留原始token信息。这种方法被称为价值银行（Bank of Values, BoV），在后三分之一的层中使用查找表来存储特定token的价值向量，有可能减少计算和内存使用，同时提高基准测试分数。