实体 ShardFlow

ShardFlow

PulseAugur coverage of ShardFlow — every cluster mentioning ShardFlow across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

0

90 天内 0

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

TOOL · CL_215165 · Aug 23 · 12:30

ShardFlow框架使用推测解码在Qwen2.5-7B上实现28 TPS

一位开发者构建了ShardFlow，一个分布式LLM推理框架，该框架将模型分布在多台机器上，并使用推测解码来缓解WAN延迟。在Qwen2.5-7B上的基准测试显示吞吐量显著提高，使用推测解码和CUDA Graphs达到了28.10 TPS，而基线为4.92 TPS。该框架还采用了零拷贝Rust TCP中继和元设备模型切片等技术来优化性能。