PulseAugur
实时 11:11:03
实体 local runtime

local runtime

PulseAugur coverage of local runtime — every cluster mentioning local runtime across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. COMMENTARY · CL_224858 ·

    本地 LLM 面临托管端点的“预热税”

    本地运行大型语言模型可能会产生“预热税”,即由于模型加载时间,初始请求会明显变慢。此税仅与短时会话相关,因为长时间会话可以分摊加载成本。文章提出了一种可衡量的途径,用于将本地模型性能与托管端点进行比较,并考虑会话长度、模型大小和量化等因素,以确定最佳部署策略。