实体 TKintegers K5

TKintegers K5

PulseAugur coverage of TKintegers K5 — every cluster mentioning TKintegers K5 across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

时间线

2026-10-29 research_milestone A new weight representation, TKintegers K5, demonstrated superior inference throughput compared to FP8 on NVIDIA L4 hardware. 来源

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_330174 · Oct 29 · 17:53

TKintegers K5 表示法在 NVIDIA L4 GPU 上优于 FP8

一种名为 TKintegers K5 的新型权重表示法已被开发出来，它使用五个平衡三进制数字来表示每个权重代码。尽管 GPU 缺乏原生的 K5 指令，但该实现与标准的 TorchAO FP8 基线相比，在 NVIDIA L4 GPU 上实现了显著更高的吞吐量。具体而言，在 Qwen2.5-0.5B-Instruct 模型上，K5 实现了 3.21 倍的预填充吞吐量和 3.10 倍的解码吞吐量，凸显了新型权重表示法在现有硬件上提高推理效率的潜力。