实体 unum-rt

unum-rt

PulseAugur coverage of unum-rt — every cluster mentioning unum-rt across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

基础设施 1

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_359756 · Nov 15 · 21:33

新的 LLM 推理引擎 unum-rt 在负载下显示出速度提升

一款名为 unum-rt 的新推理引擎已被开发出来，用于提高本地 LLM 的解码速度，尤其是在负载下。基准测试显示，unum-rt 在处理并发请求时达到每秒 45.1 个 token，显著优于开源引擎的每秒 12.4 个 token。然而，在处理长而冷的提示时，unum-rt 比开源引擎慢，后者显示出更快的首个 token 到达时间和更高的整体吞吐量。开发人员强调，unum-rt 的优势与其特定的重叠 AI 代理请求用例相符，使其更适…