PulseAugur
中
实时 21:39:12
实体 Falcon3-10B-1.58bit

Falcon3-10B-1.58bit

PulseAugur coverage of Falcon3-10B-1.58bit — every cluster mentioning Falcon3-10B-1.58bit across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 0
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_164396 ·

    Triton 后端将 RTX 5070 上 Falcon3-10B 的推理速度提高了 9.8 倍

    一位开发者为 Falcon3-10B-1.58bit 模型创建了一个新的 Triton 后端，显著提高了 NVIDIA RTX 5070 GPU 上的推理速度。新的后端实现了每秒 97.5 个 token 的解码速度，比标准的 Transformers BitLinear 实现快了近 10 倍。该优化利用了 K-contiguous 压缩三元权重、压缩字 DP4A 解码路径和 CUDA Graph 重放等技术，开发者正在寻求在不同 G…