English(EN) GGUF-Metadata Prediction of Single-Sequence llama.cpp Throughput Across Three Systems

新方法使用GGUF元数据预测llama.cpp吞吐量

作者 PulseAugur 编辑部 · [1 个来源] · 2026-09-15 04:00

研究人员开发了一种方法，利用GGUF元数据来预测llama.cpp（一个流行的运行大型语言模型的框架）的单序列吞吐量。该方法采用具有量化特定比例因子的屋顶线形预测器，并在参考模型上进行拟合。该研究在两个Apple M4 Max系统和一个NVIDIA RTX 5080上测试了53种配置下的318次测量，在某些留一主机测试中实现了低至11.6%的平均绝对百分比误差（MAPE）。研究结果表明，GGUF结构有助于跨不同系统的性能预测，尽管拟合的效率并非普遍适用。 AI

影响提供了一种优化大型语言模型在本地硬件上部署和性能调优的方法。

排序理由学术论文，详细介绍了一种预测模型吞吐量的新方法。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.AI 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。我们如何撰写摘要 →

本文如何被排名

Signal score: 17 / 100; Composite score across the factors below. Higher = stronger signal that this story matters right now.
Newsworthiness bucket: Tool; 学术论文，详细介绍了一种预测模型吞吐量的新方法。[lever_c_demoted from research: ic=1 ai=1.0]
Source corroboration: Single-source cluster; Only one publisher covered this so far. Single-source stories can still rank when the publisher is high-authority, but they lack cross-source corroboration.
Topics: paper, infra; Editorial topic classification. Feeds into how the story surfaces on /topic/<slug> hub pages and into the per-entity coverage mix.
AI-industry relevance: High; Clearly on-topic for AI-industry coverage.
Story freshness: Breaking (< 6h); Fresh story with cross-source coverage still developing. Ranking may shift as more sources report.

完整方法见我们的编辑标准。

报道来源 [1]

arXiv cs.AI TIER_1 English(EN) · Xinyu Qiu, Chuhong Xu, Bo Su, Ziyao Chen, Ruiyang Xu, Shimeng Dai · 2026-09-15 04:00

GGUF元数据预测llama.cpp单序列吞吐量跨三个系统

arXiv:2609.14864v1 Announce Type: new Abstract: We predict single-sequence model throughput from GGUF metadata using roofline-shaped predictors with quantization-specific scale factors fitted on reference models. The scored cohort comprises 318 phase-depth measurements from 53 ho…

本文如何被排名

报道来源 [1]

GGUF元数据预测llama.cpp单序列吞吐量跨三个系统

相关实体

相关话题