random-access memory
PulseAugur coverage of random-access memory — every cluster mentioning random-access memory across labs, papers, and developer communities, ranked by signal.
- instance of DDR5 SDRAM 90%
- instance of DDR4 SDRAM 90%
- used by VRAM 70%
- instance of NAND flash 70%
- affiliated with Crucial 70%
- used by Solid State Drive 70%
- used by Crucial 70%
- used by storage 70%
- instance of VRAM 70%
- used by Changxin Memory Technologies 70%
- spun off from Crucial 70%
- used by NAND flash 60%
18 天有情绪数据
-
AI热潮推高内存价格,自2023年以来已上涨近500%
自2023年以来,内存价格大幅上涨,一位用户报告称64GB内存模块的价格上涨了近五倍,从310欧元涨至1495欧元。这种显著的价格上涨归因于AI发展驱动的需求增长,这也影响了高端显卡市场,一些显卡价格超过8000欧元。
-
指南:通过大小和量化估算本地 LLM 的 RAM 和 VRAM 需求
估算在本地运行大型语言模型(LLM)的内存需求,需要了解参数数量和量化级别。计算公式涉及将模型的参数数量乘以所选精度(例如 FP16、INT8、INT4)下的每参数字节数,然后加上约 20% 的 KV 缓存和运行时开销。量化显著减小了内存占用,使得模型在消费级硬件上更容易运行,尽管它可能会影响质量。VRAM 决定了处理速度,而系统 RAM 对于模型能否加载至关重要。
-
Sam Altman 澄清其在人工智能供应担忧背景下对个人电脑内存的立场
OpenAI 首席执行官 Sam Altman 澄清了他对个人电脑内存的立场,表示他希望个人拥有充足的内存用于自己的设备。此前,他曾发表过有争议的言论,暗示内存应主要用于人工智能公司的数据中心,而不是个人电脑。Altman 解释说,全球内存短缺和价格上涨是重大问题,他认为有限供应的最佳利用方式是共享内存资源。
-
用户幽默地指责“RAM囤积”影响AI数据中心
一位Mastodon用户对所谓的“RAM危机”表示担忧,认为个人囤积随机存取存储器正在剥夺AI数据中心所需的资源。该用户幽默地提出一个工具,可以监控未使用的RAM并将其报告给Sam Altman,暗示可能有一种解决方案来重新分配这些资源用于AI开发。
-
如何识别和测试假冒SD卡
消费者在购买SD卡时应警惕假冒产品,这些产品可能导致数据丢失或损坏。危险信号包括价格异常低廉、在亚马逊或eBay等平台上从未经授权的经销商处购买,以及不熟悉的品牌。为了验证卡的真实性和容量,用户可以使用免费软件工具,如Windows上的H2testw或跨平台的f3,它们可以测试存储设备的速度和完整性。
-
研究发现:RAM速度对AI模型生成时间无影响
一位Reddit用户调查了RAM速度对AI模型生成时间的影响,特别比较了使用DDR5 RAM的6000 MT/s和4800 MT/s。测试使用了StableDiffusion以及Krea 2、Qwen 2.1和H3等模型,并配备了4080 Super GPU。结果显示,两种RAM速度在生成时间上没有显著差异,这表明对于能够装入VRAM的模型,RAM速度对性能的影响微乎其微。
-
100美元以下的经济实惠PC升级可带来显著改进
尽管硬件成本不断上涨,但以100美元以下的预算升级个人电脑仍然可行,可以进行多项组件改进。关键升级包括通过Wi-Fi卡或USB-C端口增强连接性,通过RGB风扇或LCD屏幕进行美学增强,以及通过风冷或一体式水冷散热器改进散热解决方案。Noctua、TP-Link和Corsair等知名品牌在此预算内提供优质组件,专注于提升性能和改善散热管理。
-
数字取证:优先获取 RAM 以获得易失性证据
本文讨论了在获取其他形式的数字证据之前,获取易失性内存 (RAM) 数据的战略价值。文章探讨了在哪些情况下,RAM 分析对于发现可能因未能及时捕获而丢失的关键信息至关重要。该文旨在指导数字取证专业人员何时优先获取 RAM 最为有利。
-
AI热潮助长GPU诈骗:如何避免受骗
人工智能行业推动的图形处理器(GPU)需求激增,导致诈骗案件显著增加。买家在Facebook Marketplace和eBay等平台上成为欺诈性列表的目标,有时收到的不是真正的GPU,而是空盒子,甚至只是产品图片。为避免此类诈骗,建议消费者保持警惕,通过反向图像搜索等方法验证卖家真实性,如果可能,在购买前使用HWiNFO等诊断软件亲自测试GPU。
-
LLM 的边缘设备 RAM:超越简单的减法
在内存有限的边缘设备上运行大型语言模型需要仔细的内存管理,而不仅仅是从设备总内存中减去模型文件大小。KV 缓存、操作系统开销和其他服务等因素会争夺可用内存。由于量化、模型架构和运行时配置,模型的实际内存占用可能差异很大,理论计算和文件大小不足以确定实际可用性。
-
Strata 实现 125B MoE LLM 在 GPU、RAM 和 SSD 上的部署
Strata 开发了一种方法,可以将一个拥有 1250 亿参数的专家混合(MoE)模型分布在图形处理单元(GPU)、随机存取存储器(RAM)和固态驱动器(SSD)上。这种方法旨在通过利用不同类型的存储来提高大型模型的可用性。该项目还包括一个 Linux 快速入门指南,并讨论了量化级别对代理工作负载中工具调用的影响。
-
作者详解LLM工作原理,从RAM加载到上下文窗口
作者探讨了大型语言模型(LLM)的技术基础,详细介绍了它们如何加载到RAM或VRAM以加快处理速度。他们解释了提示过程,模型在生成和优化响应时计算量会激增,以及上下文窗口如何维持对话记忆。该帖子还触及了人工智能意识的概念以及跨不同聊天实例的上下文保留的局限性,尤其是在自托管模型方面。
-
指南详述如何在 16GB GPU 上运行本地 LLM
一份指南详述了如何在 16GB GPU 上运行本地大型语言模型,强调了对 VRAM 和量化的现实期望。该清单涵盖了硬件考虑、Ollama 和 LM Studio 等工具的安装,以及模型量化级别的快速参考。它还包括验证模型成功运行的步骤,以及关于将本地模型与 Continue 和 Aider 等 IDE 代理集成的注意事项。
-
PC内存寿命:3-15年,但性能需求迫使更早升级
PC内存条的预期寿命在3到15年之间,具体取决于制造质量和用户工作负载。虽然物理组件可能可以使用十年或更长时间,但性能限制和不断变化的软件需求,特别是随着AI处理的兴起,通常需要更早进行升级。超频、散热和电压稳定性等因素也会影响寿命,但更换的主要驱动因素通常是需要更快的CPU和更大的内存容量来跟上现代计算任务。
-
AI 讨论在 Mastodon 上提及 AIBrainFry、RAM、Sam、LethalTrifecta、Jensen
此集群包含一条来自 Mastodon 的帖子,讨论了 AI 背景下的 AIBrainFry、RAM、Sam、LethalTrifecta 和 Jensen。该帖子是一个带有与 AI 相关标签的简短发帖。
-
Google 的 Elephant-Goldfish AI 凭借记忆功能助力软件设计
Google 开发了一个名为 Elephant-Goldfish 的新 AI 模型,旨在通过整合记忆能力和实现代码的新鲜审视来协助软件开发。这一发展恰逢整个科技行业在记忆和 GPU 演进方面出现融合,从根本上改变了软件架构。统一内存架构等进步正在模糊 CPU 和 GPU 内存之间的界限,减少数据移动瓶颈,并使开发人员能够构建更复杂的应用程序,包括本地 AI 代理。
-
用户寻求跨两台PC池化GPU和RAM以进行LLM推理
一位Reddit用户正在寻求关于如何最好地利用两台PC来运行大型语言模型的建议,特别是关注如何池化它们的资源。该用户有一台PC,配备94GB RAM和两块GPU(一块5070 TI和一块12GB的3060),以及第二台PC,配备64GB RAM。他们正在考虑通过以太网连接这两台PC,并使用llama.cpp的RPC功能来合并它们的处理能力,或者是否将GPU保留在主PC上,而将第二台PC仅用于额外的RAM会更有效。
-
PC升级指南:固态硬盘和内存价值评估
本文讨论通过更换固态硬盘(SSD)和随机存取存储器(RAM)等组件来升级旧个人电脑的价值。旨在指导用户哪些升级能为其投资带来最显著的改进。
-
使用 llama.cpp KV 缓存修复重启后 LLM 响应缓慢的问题
一篇技术性文章解释了在 llama.cpp 等本地 LLM 应用中,服务器重启后长对话出现性能下降的原因。问题源于 KV 缓存,它在活动会话期间将已处理的提示 token 存储在内存(RAM 或 VRAM)中以加快响应速度。服务器重启时,此缓存会丢失,迫使模型重新处理整个对话,从而导致显著延迟。文章详细介绍了使用 llama.cpp 内置的 slot save/restore 功能的手动解决方案,并介绍了一款付费附加组件 RAMen,…
-
AI效率提升不太可能降低RAM价格,因需求激增
尽管AI模型在内存效率方面取得了进展,但RAM价格不太可能因此下降。虽然较低的KV-cache使用量等技术可以减少每个任务的内存需求,但由于AI部署的快速扩张、对HBM(高带宽内存)的高需求以及服务器基础设施的增长,内存的总体需求正在增加。决定未来RAM价格的关键因素将是这些效率提升能否跟上AI工作负载不断增长的需求。