RTX 3060 Laptop

小型40亿参数模型通过分块处理数据，在大型语境下击败Claude Opus

一个在6GB笔记本GPU上运行的40亿参数模型，成功回答了一个Claude Opus难以处理的复杂问题，尽管后者拥有更大的上下文窗口。这个小型模型成功的关键在于一种新颖的方法，它将44万亿token的语料库分成可管理的小块进行处理，而不是一次性加载整个上下文。这种方法将语料库类比为视频流，允许模型对较小的片段进行提取，并将确定性规划和总结分开处理，从而避免了大型模型面临的上下文窗口限制和可靠性问题。