Zhongguancun Academy

7B模型ZGCM-1优先考虑工具使用和大型上下文，而非记忆

来自中关村学院和中关村人工智能研究院的研究人员开发了ZGCM-1，一个拥有73.9亿参数的模型，该模型优先考虑工具使用和大型上下文窗口，而不是记忆海量数据集。这种方法允许较小的模型通过按需检索信息来执行复杂任务，而不是试图将其内部存储。ZGCM-1利用混合注意力机制和FP8 Muon优化器，在其256K上下文窗口内实现高效处理，在搜索和数学基准测试中表现出色，可与更大模型相媲美。