GCP Vertex

microgpt的10万上下文窗口成本比宣传的高14倍

对开源microgpt transformer实现的最新分析显示，其宣传的长上下文能力与其实际性能之间存在显著差异。尽管该系统被宣传为具有10万Token上下文窗口的生产就绪型产品，但其内存分析器显示在A100 GPU上占用了大量VRAM。核心问题似乎在于其注意力机制中的一个架构决策，导致它消耗了比必要多14倍的Token，这与其效率声明相矛盾，并使其长上下文推理的成本远高于基准测试所暗示的。