商汤科技发布了SenseNova-Loop-9B-Preview,这是一个开放权重模型,在参数尺寸方面提出了独特的挑战。虽然它拥有约90亿参数,但其循环架构每个token需要56层传递,使其推理参数接近146亿。该模型需要llama.cpp、vLLM或SGLang等专业服务引擎,因为标准实现尚不支持其循环结构。测试表明,CPU性能可能成为瓶颈,禁用循环以加快处理速度会导致输出不正确,这表明循环是其训练功能不可或缺的一部分。 AI
影响 引入了一种新的模型架构,挑战了传统的参数尺寸调整,并需要专门的推理引擎。
排序理由 发布了一个具有新颖架构特性的开放权重模型。[lever_c_demoted from research: ic=1 ai=1.0]
- Apache Software License 2.0
- llama.cpp
- RTX 4000 Ada
- SenseNova-Loop-9B-Preview
- SenseTime
- SGLang
- transformers
- vLLM
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →