实体 barium-122

barium-122

PulseAugur coverage of barium-122 — every cluster mentioning barium-122 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

基础设施 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_172673 · Jul 30 · 06:46

消费级GPU在122B模型上实现高LLM速度，运行速度达37 t/s

Reddit的r/LocalLLaMA子版块上一位用户分享了在消费级硬件上运行大型语言模型的令人印象深刻的基准测试。他们使用Nvidia RTX 4090和RTX 5060 Ti，并将部分层卸载到64GB系统内存，在350亿参数模型（35b a3b）上实现了每秒206个token。更值得注意的是，在类似条件下，一个1220亿参数模型（barium-122）的运行速度达到了每秒37个token，超出了用户的乐观预期。