PulseAugur
中
实时 21:08:55
English(EN) Moving a running model's layers between GPUs mid-reply (8 ms, no re-prefill)

新的推理引擎可在生成过程中将模型层在GPU之间移动

作者 PulseAugur 编辑部 · [1 个来源] ·

开发了一个名为jitllm的新推理引擎，允许在生成过程中动态地将运行中模型的层在GPU之间移动。该引擎受操作系统和JIT编译器概念的启发，生成硬件特定的内核，并将模型层视为可移动进程。该系统展示了在最小延迟（8毫秒）下在GPU之间转移层而无需重新处理提示或丢失KV缓存的能力，从而能够运行大于可用内存的模型并实现灵活的硬件利用。 AI

影响 能够运行大于可用内存的模型，并为推理提供更灵活的硬件利用。

排序理由 该条目描述了一个新的推理引擎及其技术能力，而不是来自前沿实验室的发布或重大的行业范围事件。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新的推理引擎可在生成过程中将模型层在GPU之间移动

本文如何被排名

Signal score
1 / 100
Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket
Tool
该条目描述了一个新的推理引擎及其技术能力，而不是来自前沿实验室的发布或重大的行业范围事件。
Source corroboration
Single-source cluster
Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics
infra, product
Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance
High
Clearly on-topic for AI-industry coverage.
Story freshness
Same-day
Cluster formed today. Ranking reflects the current source set at time of score.

完整方法见我们的编辑标准。

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/web3samy ·

    在回复中跨 GPU 移动运行中的模型的层（8毫秒，无需重新预填充）

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1x5i7o9/moving_a_running_models_layers_between_gpus/"> <img alt="Moving a running model's layers between GPUs mid-reply (8 ms, no re-prefill)" src="https://external-preview.redd.it/a3NjZmFqanEzZHZoMfXi0-RD5rTW…

相关实体

相关话题