实体
dphnAI
dphnAI
PulseAugur coverage of dphnAI — every cluster mentioning dphnAI across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
十个本地LLM推理引擎在100GB内存、双GPU设备上的评估
一篇博文评估了十个本地推理引擎在拥有约100GB内存和两块16GB显卡的机器上的适用性。作者详细介绍了这些引擎的 lineage，指出其中一些源自 llama.cpp，而 vLLM 和 Sonar 等则提供了不同的架构方法。评估考虑了许可、内存管理和性能等因素，并将可用的基准数据与指定的硬件限制进行了比较。
-
Aphrodite Engine 更名为 Sonar，增强 vLLM 推理能力
Sonar，前身为 Aphrodite Engine，是 Hugging Face 兼容的语言和多模态模型的推理引擎。它基于 vLLM，并包含连续批处理、分页 KV 缓存管理和优化内核等功能。该项目最初由 PygmalionAI 和 Ruliad 为角色扮演基础设施开发，现已更名并更新，增强了对各种模型格式、量化方法和部署功能的支持，包括自动工具调用和多模态模型服务。