node
PulseAugur coverage of node — every cluster mentioning node across labs, papers, and developer communities, ranked by signal.
14 天有情绪数据
-
PyTorch FSDP 与 DeepSpeed 在 LLM 训练内存优化方面的比较
本文比较了 PyTorch 的 FSDP 和 DeepSpeed 在大型语言模型(LLM)训练中的应用,重点关注内存优化技术。虽然 PyTorch FSDP 被推荐为默认选项,但当模型超出 GPU 内存容量时,DeepSpeed 的 ZeRO 阶段,特别是将优化器卸载到 CPU 或 NVMe,变得至关重要。作者提供了 80 亿和 700 亿参数模型的详细内存计算,表明只有 DeepSpeed 的优化器卸载才能让 700 亿参数模型在 …
-
用于大型语言模型的经济高效 GPU:显存容量胜过速度
运行和训练大型语言模型 (LLM) 的最佳 GPU 取决于具体任务和显存需求,而非原始速度。对于高达 70B 参数的 4 位精度模型服务或 QLoRA 微调等单用户任务,24 GB 或 48 GB 的显卡,例如 NVIDIA RTX A6000,通常是最具成本效益的选择。NVIDIA H100 或 B200 等高端 GPU 更适合全参数微调或分片训练等要求更高的任务,其更高的成本可以通过更快的完成时间来证明其合理性。
-
大型语言模型显存指南:适用于 8GB、16GB 和 24GB GPU 的模型
一份指南详细介绍了哪些大型语言模型 (LLM) 可以在常见的 8GB、16GB 或 24GB 显存配置上运行。分析侧重于量化模型,其中 8GB 显存支持 Qwen3.5-9B 和 Llama 3.1 8B 等 4 位 8B 或 9B 模型,并提供显著的上下文长度。16GB 显存可运行更大的模型,例如 OpenAI 的 gpt-oss-20b,而 24GB 则可容纳 Qwen3.8-27B 等 4 位 24B 至 27B 模型,同样具有…
-
使用 vLLM 以 OpenAI 兼容 API 托管您自己的 LLM
本指南详细介绍了如何托管您自己的、具有 OpenAI 兼容 API 的大型语言模型 (LLM)。它推荐使用 vLLM,一个开源服务引擎,可以在 GPU 上运行并加载可下载的模型权重。该过程包括设置 vLLM 服务器,可选地添加 API 密钥以提高安全性,以及配置 OpenAI 客户端指向新的 API 端点。指南还涉及计算 GPU 内存需求,并讨论了除 API 密钥之外的安全注意事项,例如使用反向代理。
-
LLM推理成本:前沿模型比开源模型贵20-200倍
使用大型语言模型(LLM)进行推理的成本因模型级别而异,前沿模型比小型开源模型贵得多。由于并行化,输入token的处理成本较低,而输出token由于是顺序生成的,成本更高。Anthropic和OpenAI等提供商的输出token定价约为输入token的五倍,缓存的输入成本甚至更低。LLM工作负载的总成本取决于准确计算每种token类型并乘以其各自费率,代理循环由于重复的上下文作为输入发送,可能会产生高昂的成本。
-
OpenAI 微调成本远超开源替代方案
微调 Llama 3.1 8B 等开源模型比使用 OpenAI 的微调服务便宜得多,对于 5000 万个训练 token,Llama 的成本约为 8 美元,而 OpenAI 的 gpt-4.1-mini 为 250 美元,gpt-4.1 为 1250 美元。OpenAI 还在逐步淘汰自助微调服务,限制了大多数团队的选择。虽然由于每小时的 GPU 费率,服务成本更为可比,但在达到一定月度 token 量后,开源模型的成本仍然更经济。与提…
-
Cursor 代理通过 Nodus 集成获得云 GPU 访问权限
Cursor 的代理现在可以通过 Nodus 计算平台利用云 GPU,使其能够在配备图形处理单元的机器上运行代码。此次集成使代理能够估算、启动和管理 GPU 作业,每次运行的成本都有上限,从而为用户提供更强大的计算能力。配置包括在 Cursor 的设置中将 Nodus 设置为 MCP 服务器,并可选择团队或个人项目使用。
-
指南详述使用LoRA和QLoRA廉价微调Qwen模型
本文提供了关于高效微调Qwen模型的技术指南,特别关注使用LoRA和QLoRA技术以降低成本。它详细介绍了如何根据模型大小和量化方法选择合适的GPU硬件,并为RTX A6000和A100 80 GB等显卡提供了具体建议。该指南还区分了Qwen3与更新的Qwen3.5/3.6/3.8视觉语言模型,解释了它们不同的架构和训练要求。
-
Nodus 和 Fireworks AI:微调成本对比分析
Nodus 和 Fireworks AI 在模型微调方面提供了不同的方法。Fireworks AI 擅长对其托管的模型进行 LoRA 微调,按 token 收费,无需预配资源。而 Nodus 则被定位为一个更广泛的 AI 计算平台,提供较低的 GPU 小时费率,特别适用于全模型微调或 Fireworks AI 无服务器列表之外的模型。例如,Nodus 列出的 NVIDIA H100 GPU 小时费为 2.60 美元,远低于 Firew…
-
模型上下文协议 (MCP) 使 AI 代理能够访问 GPU 工具
模型上下文协议 (MCP) 是一种开放标准,旨在允许 AI 代理访问和利用工具,包括 GPU 资源,而代理本身无需直接访问 GPU。MCP 服务器充当中介,将代理请求转换为实际操作,并管理远程硬件上的任务执行。Anthropic 开源了 MCP 规范,该规范借鉴了语言服务器协议 (Language Server Protocol) 的灵感,使 Claude Code 等各种 AI 主机能够与 MCP 服务器进行交互。这些服务器可以本地…
-
编码代理使用任务交接来管理多小时任务
编码代理可以通过将耗时长的任务(例如多小时的训练运行)卸载到持久化系统并定期检查其状态来执行这些任务。这种方法绕过了代理工具调用固有的时间限制,代理工具调用的时间通常为几分钟到几个小时。推荐的模式包括提交具有已定义成本和时间限制的任务,记录其进度,定期检查其状态,最后收集输出或诊断失败。
-
微调LLM花费几美元,继续预训练花费几千美元,从头开始训练花费19000美元
训练自定义的大型语言模型(LLM)通常涉及微调现有的开源模型,而不是从头开始构建。成本因训练方法和数据量而异,微调花费几美元,继续预训练花费约1200美元,而使用Nvidia H100 GPU对8B参数模型进行从头训练大约需要19000美元。虽然微调可以在单GPU上大约一小时内完成,但继续预训练和从头训练需要数天甚至数周,通常需要多GPU设置。由于Meta的Llama 3.1等主要模型使用海量数据集,从头训练很少具有成本效益,除非存在…
-
指南详述使用 vLLM 自托管 LLM 以实现 OpenAI 兼容 API
多篇指南详细介绍了如何使用开源推理引擎 vLLM 自托管大型语言模型 (LLM),以便在专用 GPU 服务器上创建私有的、与 OpenAI 兼容的 API 端点。这些指南涵盖了在各种平台(包括带有内置 NVIDIA GPU 的 Control Plane 和运行 Ubuntu 的专用服务器)上设置 vLLM。关键考虑因素包括 GPU VRAM 要求、模型选择(如 Qwen/Qwen2.5-1.5B-Instruct)以及使用 API …
-
使用 LoRA 适配器在自定义数据上微调 Mistral 7B 详解
文章详细介绍了一种使用 LoRA 适配器在自定义数据上微调 Mistral 7B 语言模型的方法。文章指出,48 GB 的 GPU 对于此过程来说已足够,这与完全微调所需的高得多要求形成对比。该指南还规定了训练数据的理想格式,推荐使用带有 prompt 和 answer 字段的 JSONL 格式,并建议在指令遵循任务中从 Mistral-7B-Instruct-v0.3 模型开始。最后,文章概述了在 Nodus 平台上运行此微调作业的…
-
NVIDIA H100 对比 A100:LLM 训练的成本效益分析
在 NVIDIA 的 A100 和 H100 GPU 之间为 LLM 训练进行选择,关键在于基于小时定价和性能提升的成本效益分析。虽然 H100 提供了显著更高的理论计算速度,但其在特定训练任务中的实际优势取决于性能提升是否能证明其更高的小时成本是合理的。内存密集型或计算密集型工作负载、模型大小以及数据加载效率等因素在决定哪个 GPU 能提供更便宜的最终训练任务方面起着至关重要的作用。
-
Together AI 微调替代方案:Nodus、Fireworks AI、Modal、RunPod
对于希望微调大型语言模型的团队来说,Together AI 的按 token 定价的替代方案包括 Nodus、Fireworks AI、Modal 和 RunPod。Nodus 提供按 GPU 小时计费,并为 SFT 和 DPO 等各种微调方法提供托管配方,并且可以恢复中断的任务。Fireworks AI 提供另一种按 token 收费的 API 选项,而 Modal 和 RunPod 则允许用户运行自己的训练基础设施。最具成本效益的…
-
Nodus基础设施通过隔离沙箱和GPU作业支持后台编码代理
Nodus为后台编码代理提供关键基础设施,侧重于计算和隔离。它提供CPU沙箱用于编辑和测试,以及GPU作业用于需要专用硬件的长期运行任务。通过短期凭证和Nodus GitHub App管理对存储库和秘密的访问,确保敏感信息不被泄露。
-
Unsloth 削减 LLM 微调 VRAM 需求,支持更便宜的 GPU 使用
Unsloth 是一个开源库,可显著降低微调大型语言模型的 VRAM 需求,从而可以使用更小、更具成本效益的 GPU。通过利用 4 位 QLoRA 等技术,Unsloth 声称能够以少 70% 的内存和不损失准确性的情况下,将多达 70B 参数的模型训练速度提高一倍。这种优化使得在 RTX 4090 等消费级 GPU 上进行微调成为可能,这些 GPU 的成本远低于 NVIDIA H100 等企业级选项,尤其是在与支持中断作业检查点的云…
-
Hugging Face AutoTrain 已停产;Nodus、Together AI、Axolotl 成为替代品
Hugging Face 已停止对其用于 LLM 微调的 AutoTrain 工具的积极开发,促使用户寻求替代方案。Nodus 被定位为直接的托管替代品,而 Together AI 提供基于代币的定价模式。对于那些希望管理自己基础设施的用户,Axolotl 和 Unsloth 等选项提供了可以在现有硬件上运行的开源训练脚本。文章根据在 NVIDIA A100 GPU 上进行 10 小时微调作业的成本对这些替代品进行了比较,发现 Nod…
-
持续预训练与微调:选择正确的 LLM 训练方法
文章区分了 LLM 的持续预训练和微调,建议当模型缺乏领域特定知识或词汇时,持续预训练更有益;而当模型理解该领域但需要调整其响应格式或行为时,微调更合适。文章强调,持续预训练需要显著更多的数据和计算资源,成本是微调的数十倍,并根据模型错误、数据可用性和知识稳定性提出了决策规则。文章还指出,微调,特别是使用 LoRA 和 QLoRA 等方法,可以用少量高质量示例有效地进行。