English(EN) 150tps prefill on dual and single gpu on Strata..

用户寻求帮助优化本地 GPU 上的 Strata 模型性能

作者 PulseAugur 编辑部 · [1 个来源] · 2026-10-17 05:36

Reddit r/LocalLLaMA 版块的一名用户正在寻求帮助以提高 Strata 模型的性能。他们遇到的预填充吞吐量（约 150 tps）远低于预期，即使在使用双 GPU 时也是如此。用户分享了他们的硬件规格、量化方法（rco iq3_xxs）以及启动设置，包括专家缓存、预填充、推测解码和上下文长度的参数，希望能获得优化建议。 AI

排序理由这是一个用户在某个版块上寻求特定软件/硬件配置帮助的问题，而不是重大的行业事件或发布。

在 r/LocalLLaMA 阅读 →

4070
Strata

基础设施

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 0 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Meme; 这是一个用户在某个版块上寻求特定软件/硬件配置帮助的问题，而不是重大的行业事件或发布。
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

r/LocalLLaMA TIER_1 English(EN) · /u/UNO10100f · 2026-10-17 05:36

Strata上双GPU和单GPU的150tps预填充..

<div class="md">Hardware----------------- 4070 12gb - gen 4.0 x16 v100 16gb - gen 3.0 x4 32gb 3200mhz ram it5-12400f ssd read - 3.6gb ssd write - 2.7gb -------------------------------- quant- rco iq3_xxs …

本文如何被排名

报道来源 [1]

Strata上双GPU和单GPU的150tps预填充..

相关实体

相关话题