实体 llm-jp-1.8B bf16

llm-jp-1.8B bf16

PulseAugur coverage of llm-jp-1.8B bf16 — every cluster mentioning llm-jp-1.8B bf16 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

基础设施 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_318179 · Oct 23 · 14:31

vLLM 基准测试揭示 19 倍延迟悬崖和非确定性输出

在单个 GeForce RTX 3060 上对 vLLM 进行基准测试，结果显示基于配置设置的性能变化显著。一个参数 max-num-seqs，在压力条件下从 32 增加到 128 时，首次标记时间 (TTFT) 增加了 19 倍。研究还发现，llm-jp-1.8B 模型比 Swallow-8B AWQ 的请求服务速度快 3.6 倍，部分原因归功于 vLLM 的优化内核。此外，使用 Swallow-8B AWQ 的推理模型即使在温度为…