实体
Cornell RelaxML
Cornell RelaxML
PulseAugur coverage of Cornell RelaxML — every cluster mentioning Cornell RelaxML across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
ExLlamaV3 和 TabbyAPI 支持在消费级硬件上本地部署 LLM
ExLlamaV3 和 TabbyAPI 已发布，为在消费级硬件上本地运行大型语言模型提供了新功能。ExLlamaV3 引入了一种名为 EXL3 的优化量化方法，该方法基于 QTIP，允许 CPU 卸载以管理具有有限 GPU 资源的模型。TabbyAPI 作为 ExLlamaV3 的官方 API 服务器，提供工具/函数调用和连续批处理等功能，但它被标记为一个业余项目。
-
Qwen3.8 Flash Next 模型针对多样化硬件上的本地推理进行了优化
Qwen3.8 Flash Next 模型正在针对各种硬件配置上的本地推理进行优化。一位用户在使用 NInfer 的一个分支的 RTX 6000 上实现了 400 tokens/秒的性能，另一位用户通过实现流式和并行读取，展示了在带有 SSD 的 Mac Mini 上运行该模型。另一份指南详细介绍了如何在具有大量 CPU RAM 卸载的消费级 RTX 5090 上运行 125B 参数模型，还有一位用户通过采用量化和统一内存调度方法，在…