实体
Dwarfstar
Dwarfstar
PulseAugur coverage of Dwarfstar — every cluster mentioning Dwarfstar across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
2 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
OCaml通过新的ocaml-deepseek库在本地集成DeepSeek LLM
一位OCaml开发者创建了一个名为ocaml-deepseek的新库，该库将DeepSeek的开放权重LLM直接集成到OCaml应用程序中。这允许本地、进程内推理，绕过了对外部API的需求，并使开发人员能够使用OCaml函数作为工具来构建代理循环。该库利用了Dwarfstar，一个支持Apple Metal的C语言推理引擎，使其适用于拥有大量RAM的高端Mac。
-
DwarfStar 框架支持跨多个 GPU 进行分布式 LLM 推理
DwarfStar 是一个新框架，它通过允许多个 GPU 协同工作，实现了大型语言模型的分布式推理。它支持各种模型架构，并提供量化和高效内存管理等功能。该项目旨在使在消费级硬件上运行大型模型更易于访问和更具性能。