Roofline model
PulseAugur coverage of Roofline model — every cluster mentioning Roofline model across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新研究致力于LLM推理效率和可复现性
近期研究论文探讨了优化大型语言模型（LLM）推理以提高效率和可复现性的方法。BlockLock引入了一种通过固定请求的数值路径来确保可复现LLM输出的技术，与现有方法相比，提高了延迟和吞吐量。StrataFlux通过使用主机RAM和SSD来增加精度，解决了量化精度下降的问题，在保持速度优势的同时恢复了精度。ACSeL通过自适应搜索最优配置（包括模型大小和量化）来满足内存和延迟预算，专注于硬件受限环境。LEAP通过在线调整长度预测来实现…
-
投机解码通过改变 GPU 工作负载来加速 LLM
大型语言模型中的投机解码之所以速度快，不是因为它减少了计算工作量，而是因为它改变了 GPU 执行的工作类型。虽然浮点运算的总数可能会增加，但投机解码允许 GPU 变得计算密集型而不是内存密集型。这是通过使用一个较小的草稿模型来提出 token 序列，然后由一个较大的模型并行验证来实现的，从而能够更有效地利用 GPU 资源，尤其是在较低的批处理大小下。
-
大型语言模型集成到硬件设计和设备端应用中
研究人员正在探索将大型语言模型（LLMs）集成到硬件设计和设备端应用中。一篇论文讨论了如何保护芯片小片系统和LLM驱动的电子设计自动化（EDA）流程免受硬件攻击。另一个框架RooflineBench旨在通过分析设备端LLM在资源受限硬件上的性能特征来进行基准测试。此外，还在进行实际实验，以测试消费级硬件上本地LLM的能力，评估它们在编码任务中的性能以及从二进制代码中识别处理器架构的能力。
-
LLM推理成本由内存带宽驱动，而非计算
大型语言模型推理的主要成本驱动因素不是计算能力（FLOPs），而是内存带宽，尤其是在处理自回归解码过程中的KV缓存时。仅优化计算利用率会导致过度支出，因为与KV缓存所需的数据移动相比，每个token的实际算术运算非常少。需要进行架构更改，例如将预填充与解码分离，以及调整批处理大小和上下文大小，将内存带宽视为稀缺资源来有效管理成本。