PulseAugur
中
实时 20:07:02
实体 OpenBitSys

OpenBitSys

PulseAugur coverage of OpenBitSys — every cluster mentioning OpenBitSys across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
1
90 天内 1
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条
  1. TOOL · CL_363309 ·

    BitDecoding-FP4 通过FP4量化增强LLM长上下文解码能力

    研究人员开发了BitDecoding-FP4,一种通过协同设计FP4量化和系统优化来高效进行大型语言模型长上下文KV解码的新方法。该方法通过引入双残差查询量化和欠流感知概率缩放等技术,解决了现有FP4 KV系统相关的准确率下降和吞吐量下降问题。该系统还优化了softmax瓶颈,并与vLLM等框架集成,与传统的BF16 KV解码相比,实现了显著更高的服务吞吐量。