PulseAugur
中
实时 09:19:13
English(EN) JustFit: 200K-Token LLM Serving on a 24 GiB Laptop with Just-in-Time State Management

LLM 通过新技术在消费级硬件上实现大规模上下文窗口

作者 PulseAugur 编辑部 · [5 个来源] ·

研究人员正在开发创新方法，使大型语言模型 (LLM) 能够处理更大的上下文窗口，即使在消费级硬件上也是如此。一种名为 JustFit 的方法使用 KV 压缩和状态管理等技术，在具有 24 GiB RAM 的笔记本电脑上提供 200K 令牌 LLM，实现了超过先前基线 6 倍的上下文。另外，一个 44M 参数的量化 LLM 从头开始训练，模型大小为 19.8 MB，在 CPU 上速度约为 1,900 令牌/秒，展示了推理和状态保持转换的能力。另一个模型 MiniMax M3 提供了一个具有 1M 令牌上下文窗口的开源 LLM，成本低廉，可以直接处理整个代码库或大型文档。 AI

影响 使在消费级硬件上运行更大、更强大的 LLM 成为可能，从而可能使先进的 AI 功能民主化。

排序理由 该集群包含多篇研究论文和项目，详细介绍了用于改进 LLM 上下文窗口处理和效率的新颖技术和模型。

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 5 个来源。 我们如何撰写摘要 →

LLM 通过新技术在消费级硬件上实现大规模上下文窗口

本文如何被排名

Signal score
0 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Research
该集群包含多篇研究论文和项目，详细介绍了用于改进 LLM 上下文窗口处理和效率的新颖技术和模型。
Source corroboration
5 independent sources
Strong cross-source corroboration — multiple independent publishers covered this within the clustering window.
Topics
model release, infra
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
6 days old
Aged out of breaking-news scoring windows; ranking reflects the durable signal from the full source set.
Coverage growth since scoring
+1 source(s) since last score
New sources have picked up this story since our last re-score. Score will update on the next scoring pass.

完整方法见我们的编辑标准。

报道来源 [5]

  1. arXiv cs.AI TIER_1 English(EN) · Yuhua Chen ·

    JustFit：在 24 GiB 笔记本电脑上通过即时状态管理服务 200K-Token LLM

    arXiv:2609.17475v1 Announce Type: new Abstract: Capable open-weight models make local coding and reasoning attractive, but their context and execution state strain laptop memory. We present JustFit, an MLX-based inference runtime that combines KVExec for compressed KV execution, …

  2. Mastodon — sigmoid.social TIER_1 English(EN) · [email protected] ·

    突破三元大语言模型的1.58比特瓶颈 https://arxiv.org/abs/2609.16338 # HackerNews # Tech # AI

    Breaking the 1.58-bit Barrier for Ternary LLMs https://arxiv.org/abs/2609.16338 # HackerNews # Tech # AI

    链接 arxiv.org/…/2609.16338
  3. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    最终帖子：“🧠 Schematron V2 Turbo（推理网络）：开放权重，128k token，每 100 万 token 输入 0.03 美元 / 输出 0.15 美元 https:// olud.ai/latest.html # AI # LLM # OpenSource”

    Final post: "🧠 Schematron V2 Turbo (Inference net): open weights, 128k tokens, $0.03 in / $0.15 out per 1M https:// olud.ai/latest.html # AI # LLM # OpenSource

    链接 olud.ai/latest.html
  4. r/MachineLearning TIER_1 English(EN) · /u/Final-Data-1410 ·

    我从头开始用450亿个token训练了一个4400万参数的量化LLM。它打包体积为19.8MB，在CPU上运行速度约为1900 token/秒。[P]

    <!-- SC_OFF --><div class="md"><p>Three weeks back , i posted SHADOW-250M here. It got 360 upvotes, 293 on <a href="/r/LocalLLaMA">r/LocalLLaMA</a> and 94 GitHub stars. Thank you.</p> <p>That model was 60 MB, ran around 400 tok/s on CPU and could retrieve records from an archive …

  5. dev.to — LLM tag TIER_1 English(EN) · AI Explore ·

    MiniMax M3：开放权重LLM，100万上下文仅需0.30美元/百万Token — 第25/30天

    <blockquote> <p><strong>TL;DR —</strong> MiniMax M3 ships a 1,048,576-token context window priced at $0.30 per million input tokens, cheap enough to make 'just paste the whole codebase in' a real strategy instead of a joke. Probe results show fast, correct output on coding, arith…

相关实体

相关话题