PulseAugur
中
实时 06:37:23
实体 Spheron

Spheron

PulseAugur coverage of Spheron — every cluster mentioning Spheron across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
4
90 天内 5
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/1 页 · 共 5 条
  1. COMMENTARY · CL_358860 ·

    AI代理成本由任务重复驱动,而非模型价格

    运行AI代理的成本主要取决于任务重复的频率,而不是模型本身的每token价格。对使用Sonnet-5.5的20步代理任务进行的详细成本分析显示,每一步重新发送的上下文会显著增加成本,尤其是在代理进入重试循环时。诸如轨迹缓存之类的策略,通过回放已记录的计划而不是重新推导它们,可以通过从缓存中提供重复的目标来大幅降低费用,前提是自上次执行以来数据没有发生显著变化。

  2. TOOL · CL_347532 ·

    SGLang vs. vLLM:前缀缓存性能对决

    SGLang 和 vLLM 是两个旨在优化 LLM 推理的系统,特别是通过前缀缓存。SGLang 使用 RadixAttention,一种基于 CPU 的前缀缓存,将提示和答案的 KV 缓存存储在基数树中,允许共享的提示开头重用已存储的内存。vLLM 采用类似的自动前缀缓存机制,对 KV 缓存块进行哈希处理,但它只能重用完整的块,这限制了其在部分前缀匹配方面的有效性。基准测试显示结果不一,一些测试表明 SGLang 在特定的共享前缀场…

  3. COMMENTARY · CL_345183 ·

    2026年自托管大语言模型年成本将达15万至200万美元以上

    预计到2026年,自托管开源大语言模型的年成本将在15万至200万美元之间。除了GPU硬件之外,显著的开销还包括专业工程人员的成本,这可能等于甚至超过硬件支出。从专业云服务提供商那里租用GPU通常比购买更具成本效益,除非能实现近乎恒定的利用率,并且价格因提供商而异,而非芯片本身。

  4. TOOL · CL_316963 ·

    在特定场景下,SGLang 的 RadixAttention 在 LLM Agent 上的表现优于 vLLM

    对于具有长多轮对话的 LLM Agent,SGLang 的 RadixAttention 在速度上显著快于 vLLM 的前缀缓存。这是因为 RadixAttention 的基数树(radix tree)数据结构允许比 vLLM 的基于块的哈希(block-based hashing)更精细地重用共享前缀的 KV 缓存。然而,当处理唯一提示、优先考虑原始吞吐量的短提示或非常高的并发级别时,这种优势会减弱或消失,此时 vLLM 有时可以表…

  5. COMMENTARY · CL_215435 ·

    AI基础设施、发布预测和复古界面设计探索 · 跟踪4个来源

    Spheron Blog的一篇博文将搜狐的Transformer ASIC与英伟达的GPU在AI推理方面的潜力进行了比较,并预测该比较将在2026年进行。另一篇文章讨论了AI与基础设施工程的交叉点,第三篇文章探讨了预测AI模型发布日期的统计方法。另外,一位开发者重新利用了1983年的Unix讲座来创建一个AI界面。