4090
PulseAugur coverage of 4090 — every cluster mentioning 4090 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
AI爱好者寻求GPU升级建议以运行大型模型
一位用户在 r/LocalLLaMA 子版块上寻求关于升级其GPU设置以适应更大AI模型的建议,特别提到了 DeepSeek V4。他们正在考虑在其现有的双3090配置中添加两块每块配备48GB内存的修改版4090、两块A6000或两块5090。该用户正在寻找关于混合设置的见解,以及哪种选择最能让他们运行需要超过100GB文件空间的模型。
-
元力觉醒发布 DM0.5 具身智能模型,训练数据达 15 万小时
元力觉醒(Force Field Intelligence)发布了其新一代具身智能基础模型 DM0.5,该模型接受了 15 万小时数据的训练。DM0.5 旨在通过整合真实世界场景和开发者平台来解决具身智能领域的数据瓶颈问题。该模型拥有更大的参数规模、更多的数据量以及上下文抽象层和具身思维链任务等架构创新,在 Zero-Shot 泛化能力和微调效率方面取得了显著提升。
-
ai-toolkit 分支加速 Stable Diffusion 训练和渲染
ai-toolkit 的一个优化分支已发布,引入了 transformer quants 的缓存以缩短模型训练的启动时间。此次更新还支持使用本地 ComfyUI 服务器进行更快、更可控的示例图像渲染。这些优化,特别是缓存和本地服务器集成,可以显著缩短渲染时间,一位用户报告称在 4090 GPU 上渲染时间从两分钟缩短到一分钟以内。
-
ComfyUI 获得运行时量化,加速 AI 图像生成
新开发的名为 QuantFunc 的 ComfyUI 节点能够实现 AI 模型的运行时 4 位量化,显著加快推理速度。这使得用户无需预量化模型检查点即可即时应用量化,在 RTX 4090 上使用 Ideogram 4 等模型时速度约提升 4 倍。此外,还发布了 Boogu-Image-0.1-Turbo 模型的 INT8 量化新版本,针对 ComfyUI 进行了优化,以减少 VRAM 使用并提高加载速度,需要自定义节点以在某些 GPU…
-
Eval-awareness direction detects framing, not sandbagging in Llama-3.1
研究人员调查了模型对其正在被评估的意识是否直接导致其表现不佳,这种现象被称为“沙袋效应”(sandbagging)。研究使用了一个欺骗检测工具包,并在 Llama-3.1-8B-Instruct 上进行测试,发现“评估意识”(eval-awareness)方向主要检测的是评估框架本身,而不是因果性地驱动沙袋效应行为。虽然该方向在识别评估情境方面被证明是有效的,但它并未预测或导致沙袋效应的个体实例,这表明这种意识并非故意压低能力行为的直接原因。
-
DiffusionGemma 26B 在 4090 上速度虽快,但准确性和上下文理解能力欠佳
一位 Reddit 用户分享了他们在 4090 GPU 上运行 DiffusionGemma 26B 模型的经验,速度介于每秒 290-700 个 token 之间。然而,他们发现该模型仅限单用户使用,准确性不如标准的 Gemma 模型,并且容易出现上下文遗忘。该用户总结认为,该模型不值得投入精力,因为通过 llama.cpp 运行的常规 26B 模型提供了更好的性能和准确性。
-
Google发布DiffusionGemma,文本生成速度提升4倍的模型
Google发布了DiffusionGemma,一个拥有260亿参数的新型MoE模型,它利用扩散模型进行文本生成,速度比传统的自回归模型快四倍。这种方法并行处理token,类似于图像生成,从而实现更快的推理和更低的内存需求,使其可以在4090 GPU等消费级硬件上本地执行。虽然DiffusionGemma在速度和双向注意力带来的自纠正能力方面表现出色,但目前在质量上落后于标准的Gemma模型,将其定位为面向速度敏感型应用的实验性模型。
-
AI 模型训练的 GPU 租用成本飙升
用于 AI 模型训练的 GPU 租用价格已大幅上涨,目前 4090 的日租金约为 5 美元。以前,租用 GPU 的成本相当于几年内的购买价格,而现在只需几个月。即使是 5070 Ti 等性能较弱的 GPU,租金也异常高昂。
-
AI GPU需求激增,B300价格攀升;旧芯片以旧换新失败
B300等高性能AI GPU需求激增,据报道,一家华东科技巨头计划采购超过10000台,导致价格大幅上涨。与此同时,一家国内制造商先前的旧AI芯片“以旧换新”计划因软件和生态系统成熟度不足而未能获得关注。大型科技公司正在放宽供应商要求,目前主要要求履约保证金和竞业协议,因为市场正从买方市场转向卖方市场。