PulseAugur
实时 13:02:41
实体 inference provider

inference provider

PulseAugur coverage of inference provider — every cluster mentioning inference provider across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
0
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 1 条
  1. COMMENTARY · CL_37856 ·

    LLM基准测试在长上下文推理速度方面具有误导性

    当前的LLM推理基准测试具有误导性,因为它们主要衡量短上下文性能,这不能反映涉及长上下文的实际使用情况。这种差异源于Transformer推理的预填充(prefill)和解码(decode)阶段不同的计算需求,其中预填充受计算限制,而解码受内存带宽限制。提供商可能在一个阶段表现出色,而在另一个阶段遇到困难,并且KV缓存的大小依赖于上下文长度,这进一步加剧了大规模性能的复杂性。为了准确选择推理提供商,用户必须使用真实的流量模式和上下文长…