Lngram v2

Lngram v2 通过可解释的离散表示增强Transformer的记忆能力

研究人员推出了Lngram v2，这是为Transformer设计的潜在N-gram记忆的最新进展。新版本将记忆容量与主干宽度解耦，实现了独立扩展，并降低了与前代Lngram v1相比的计算成本。Lngram v2在包括一个30B参数模型在内的各种视觉-语言模型上展示了持续的性能提升，同时还提供了保留语义结构的、可解释的离散表示。