Llama 3.3-70B
PulseAugur coverage of Llama 3.3-70B — every cluster mentioning Llama 3.3-70B across labs, papers, and developer communities, ranked by signal.
- instance of Llama 3.3 70B Instruct 90%
- instance of LLM 90%
- instance of large-language models 90%
- used by OpenRouter 70%
- used by Groq 70%
- used by LoRA+ 70%
- used by Llama 3.3 70B Instruct 70%
- used by NVIDIA H100 70%
- used by QLoRA 70%
- uses LangChain 70%
- used by LangChain 70%
- competes with GPT-4o mini 70%
13 天有情绪数据
-
AI代理检测混淆的恶意Shell命令能力接受测试 · 追踪1个来源
Vidraft发布的新排行榜评估了AI代理区分合法和恶意Shell命令的能力,特别是当命令使用Base64编码等方法进行混淆时。评估发现,虽然大多数模型都能有效阻止真正有风险的命令,但在正确放行对代理功能至关重要的良性命令方面,它们的表现差异很大。在具有说服力或威胁性的文本等对抗性条件下,Kimi K3.1 Pro和GPT 6.1 Terra在识别恶意命令和保持高良性命令放行率方面均表现出色。
-
私有LLM部署GPU服务器的选型指南
本文详细介绍了如何为私有LLM部署正确选型GPU服务器,超越了简单的内存计算。文章使用餐厅厨房的比喻来解释模型权重、KV缓存和吞吐量等概念。作者强调理解用户并发数、请求长度、最坏情况场景和期望的响应时间,以准确确定硬件需求,特别是推荐为拥有200个用户的服务器配备四块GPU,但选型应按30-50个并发对话进行。
-
自托管大型语言模型:何时能胜过 API 成本?
在单个 NVIDIA H100 GPU 上自托管开源大型语言模型,在处理了大量 token 后,可能比使用 Claude Sonnet 5.5 等前沿 API 更具成本效益。取代前沿 API 的盈亏平衡点约为每天 1560 万 token,而要超越更便宜的开源模型 API 则需要更高的流量,每天超过 2.37 亿 token。实际成本效益取决于 GPU 利用率;空闲时间仍会产生费用,这意味着非全职使用需要在活跃时段实现更高的吞吐量才能保持竞争力。
-
OpenAI 微调成本远超开源替代方案
微调 Llama 3.1 8B 等开源模型比使用 OpenAI 的微调服务便宜得多,对于 5000 万个训练 token,Llama 的成本约为 8 美元,而 OpenAI 的 gpt-4.1-mini 为 250 美元,gpt-4.1 为 1250 美元。OpenAI 还在逐步淘汰自助微调服务,限制了大多数团队的选择。虽然由于每小时的 GPU 费率,服务成本更为可比,但在达到一定月度 token 量后,开源模型的成本仍然更经济。与提…
-
指南详述了为Llama 3.1等LLM提供服务所需的VRAM计算方法
一份技术指南解释了如何计算服务大型语言模型(LLM)所需的视频内存(VRAM)。计算方法包括将模型的权重和KV缓存大小相加,然后考虑服务引擎的开销。该帖子详细介绍了如何从模型的配置文件和检查点大小中推导出这些值,考虑了FP16、FP8和INT4等不同的精度级别,并为Llama 3.1 8B和Llama 3.3 70B等模型提供了具体示例。
-
LLM性能与显存需求:深入解析每秒token数与内存计算
理解LLM的性能和内存需求对于高效部署至关重要。对于推理速度,关键指标是总的每秒token数(TPS)以实现成本效益,以及每秒每用户token数以获得可感知的响应速度,建议的最低值为每秒30-50个token。内存需求取决于模型权重(参数数量和精度)、KV缓存(上下文长度和批次大小)以及开销。量化,特别是量化到4位或8位,显著降低了权重内存需求,而分组查询注意力可以最小化KV缓存大小。对于微调,由于激活和梯度,内存需求会大幅增加,尽管…
-
新的SAGE-QA框架改进了LLM在SQuAD 2.0基准上的评估效果
引入了一个名为SAGE-QA的新评估框架,以更好地评估生成式大型语言模型在闭域问答任务上的表现,特别是针对SQuAD 2.0基准。传统的精确匹配(EM)评分可能误导LLM,因为它会惩罚有效的释义。SAGE-QA结合了语义等价评分和基于段落的验证,以区分事实错误和词汇变化。在零样本评估中,Claude Opus-4.6和Gemini-3.1 Pro取得了高EM分数,但像Llama 3.3-70B这样的微调开放权重模型超越了它们,证明了参…
-
本地AI模型运行的PC硬件要求详解
在个人电脑上本地运行大型语言模型正变得越来越容易,Ollama和LM Studio等工具简化了这一过程。然而,这些本地模型的性能和能力在很大程度上取决于用户的硬件,特别是RAM和VRAM。虽然16GB的RAM可以处理较小的模型(约70-80亿参数),但更强大的模型需要至少32GB的RAM和16GB的VRAM,这可能会很昂贵。文本生成速度更多地受内存带宽而非处理能力的影响,像Nvidia RTX 5090这样的高端GPU比CPU或NPU…
-
大模型显存需求:Llama、Qwen 和 DeepSeek 自托管指南
自托管大型语言模型需要仔细考虑显存需求,这受模型权重和 KV 缓存大小的影响。像 Llama 这样的密集模型具有可预测的扩展性,70B 版本需要大量显存,可能需要多块高端 GPU。像 DeepSeek V3/R1 这样的混合专家(MoE)模型每个 token 只激活其参数的一小部分,但仍需要巨大的内存容量,通常需要多节点设置。Qwen 模型种类繁多,较小版本更容易获得,而较大版本则需要复杂的张量并行配置。对于预算有限的用户,像 R1-…
-
70B LLM 内存需求:双 RTX 3090 对比 DGX Spark
技术性分析比较了运行大型语言模型的硬件需求,特别关注 70B 参数模型及更大模型。分析详细说明了在不同配置下,包括双 RTX 3090 GPU、64GB DGX Spark 和 128GB DGX Spark,模型权重和激活的内存使用情况。它强调,70B 模型通常会超出单个消费级 GPU 的容量,因此需要多 GPU 设置或像 DGX Spark 这样的专用硬件来处理更长的上下文或更大的模型。
-
成本分析显示,微调70B模型的费用为每百万token 1-2美元
微调一个拥有700亿参数的模型,每百万训练token的成本在1到2美元之间,而一个2000万token的LoRA运行估计约为20美元。成本主要取决于训练的token数量和实验运行次数,GPU利用率和每小时费率也起着重要作用。LoRA、QLoRA和梯度检查点等因素会影响每个token的计算操作,从而影响总费用。虽然完全微调涉及更多的计算和内存,但与LoRA相比,成本差异不如GPU速度和每小时定价的影响显著,像Nvidia B200这样的…
-
开发者追踪开源LLM API定价,发现成本差异巨大
一位开发者创建了一个监控工具,用于追踪不同API提供商的开源权重LLM定价差异。该工具每五分钟运行一次,从OpenRouter抓取数据,以每100万个token的成本进行比较,假设输入与输出token的比例为3:1。它识别出比中位数便宜很多的提供商,并标记出最便宜和最昂贵的选项之间量化水平的潜在差异。该项目的发现通过Telegram频道分享,开发者正在寻求对该方法的反馈。
-
LoRA 与 QLoRA:选择正确的 LLM 微调方法
本文比较了 LoRA 和 QLoRA,这是两种用于大型语言模型(LLM)的微调技术。当 16 位模型能够容纳在可用 GPU 内存中时,LoRA 是合适的选择;而 QLoRA 通过将基础模型量化为 4 位,在内存受限的情况下更具优势。QLoRA 显著降低了内存需求,使得在更少的 GPU 上微调更大的模型成为可能,尽管由于计算过程中重新量化的过程,它可能会带来轻微的性能开销。作者建议在特定数据集上测试这两种方法,以确定在质量和成本效益方面的最佳选择。
-
新的LLM研究解决了评估、记忆和训练效率问题
多篇研究论文探讨了大型语言模型(LLM)评估和训练的进展。一项研究提出软提示调优,以提高开源LLM裁判与人类标注的一致性,并在Qwen 3.5 9B上取得成功。另一篇论文引入了一种非参数变分信息瓶颈(NVIB),以在不重新训练的情况下减轻LLM对受版权数据进行记忆。此外,研究还探讨了通过数据条件流匹配生成多样化的LLM权重,并提出了Circe,一种基于组件交互一致性的无训练LLM自评估方法。其他工作则侧重于LLM-as-a-Judge…
-
OMNICLAUDE 工具通过多密钥故障转移防止 AI 编码助手 Token 限制
一位开发者创建了 OMNICLAUDE,一个基于 Python 的工具,旨在防止在使用 Claude Code 和 OpenCode 等 AI 编码助手时因 API 速率限制而中断。该工具通过动态轮换多个免费 API 密钥(主要来自 Google 的 Gemini Flash)来解决达到 Token 限制的问题,并且在云服务不可用时还可以回退到其他云提供商或本地 AI 模型。OMNICLAUDE 配备了一个用于监控 Token 使用情…
-
通过高效方法优化 H100 上 Llama 微调成本
在 NVIDIA H100 GPU 上微调 Llama 模型,可以通过使用最适合模型大小的内存高效方法来优化成本,例如对 Llama 3.1 8B 等较小模型使用 LoRA,对 Llama 3.1 70B 等较大模型使用 QLoRA。通过快速检查点和避免空闲时间来最大限度地减少计费时间至关重要,因为这些因素对总体成本的影响比 GPU 本身的每小时费率大得多。例如,在 H100 上对 Llama 3.1 8B 进行 5000 万个 to…
-
LLM 部署:本地与云端的成本效益分析
当模型能够容纳在机器内存中且数据隐私至关重要时,在本地运行大型语言模型是可行的。对于超出本地容量的更大模型或批量作业,基于云的解决方案更为合适。通过比较硬件成本与云端每小时费率,可以量化本地硬件与云服务之间的选择,在持续使用几年后,本地拥有权会更具成本效益。
-
LLM安全代理易受日志注入攻击
一项新研究强调了大型语言模型(LLM)处理安全日志时的一个关键漏洞,即提示注入攻击可以嵌入看似无害的数据中。与传统的SQL注入不同,LLM在代码和数据之间缺乏清晰的分离,使其容易受到隐藏在日志中的指令的影响。研究人员发现,即使有分层防御,仍然存在显著的残留风险,模型在以真实的日志格式呈现时,常常无法检测或区分恶意指令。
-
Vektor 2.0.2 通过增强的记忆召回能力,提升了 LongMemEval 基准测试分数
Vektor 发布了其内存基准测试工具 LongMemEval 的 2.0.2 版本,展示了其在回忆和处理长聊天记录信息方面的显著改进。更新后的版本在 120 个 LongMemEval 问题的配对检查中得分 89.2%,高于先前版本的 84.2%,在全部 500 个问题中得分 84.0%。主要改进包括通过将相对日期转换为特定时间戳来提高时间精度,以及根据问题复杂度动态调整内存召回大小,计数和求和问题现在受益于多达 80 个记忆,而不…
-
LLM KV 缓存显存计算器:将大上下文装入有限内存
一篇技术博文详细介绍了如何计算大语言模型上下文长度所需的显存(VRAM),重点关注 KV 缓存。它提供了一个公式,根据模型架构和上下文大小估算显存需求,并为 Qwen3 32B 和 Llama 3.3-70B 等热门模型的每 token 缓存大小提供了数据。该博文还概述了将更大上下文装入有限显存的策略,包括 KV 缓存量化、设置适当的上下文限制以及管理并行性。