实体 BlockLock

BlockLock

PulseAugur coverage of BlockLock — every cluster mentioning BlockLock across labs, papers, and developer communities, ranked by signal.

总计 · 30天

1

90 天内 1

发布 · 30天

0

90 天内 0

论文 · 30天

1

90 天内 1

层级分布 · 90 天

主题

情绪 · 30 天

1 天有情绪数据

最近 · 第 1/1 页 · 共 1 条

RESEARCH · CL_332652 · Oct 31 · 04:00

新研究致力于LLM推理效率和可复现性

近期研究论文探讨了优化大型语言模型（LLM）推理以提高效率和可复现性的方法。BlockLock引入了一种通过固定请求的数值路径来确保可复现LLM输出的技术，与现有方法相比，提高了延迟和吞吐量。StrataFlux通过使用主机RAM和SSD来增加精度，解决了量化精度下降的问题，在保持速度优势的同时恢复了精度。ACSeL通过自适应搜索最优配置（包括模型大小和量化）来满足内存和延迟预算，专注于硬件受限环境。LEAP通过在线调整长度预测来实现…