实体
text-generation-webui
text-generation-webui
PulseAugur coverage of text-generation-webui — every cluster mentioning text-generation-webui across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
指南详述使用硬件数学和推理引擎本地运行LLM
本技术指南深入探讨了在本地运行大型语言模型（LLM）的复杂性，重点关注硬件考量和推理引擎。它深入研究了硬件的数学方面、量化的权衡取舍，并对五个不同的推理引擎进行了基准测试。该指南强调实际应用，包括基于Apple Silicon Mac和Ollama的个人测试的两个案例研究，同时也展示了对vLLM、text-generation-webui和SGLang等其他引擎的研究性比较。
-
用户在 r/LocalLLaMA 上讨论本地 LLM 工具和应用
Reddit r/LocalLLaMA 子版块上的一场讨论探讨了用户如何利用本地大型语言模型以及他们使用的工具。参与者正在分享他们的经验并寻求应用程序的推荐，特别是针对编码任务，以及 Claude.ai 等网络界面的替代方案。对话突出了 Llama、Mistral AI、Vicuña 和 alpaca 等各种模型，以及 Ollama、LM Studio、KoboldAI 和 text-generation-webui 等流行工具。