实体
Roofline model
Roofline model
PulseAugur coverage of Roofline model — every cluster mentioning Roofline model across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
大型语言模型集成到硬件设计和设备端应用中
研究人员正在探索将大型语言模型（LLMs）集成到硬件设计和设备端应用中。一篇论文讨论了如何保护芯片小片系统和LLM驱动的电子设计自动化（EDA）流程免受硬件攻击。另一个框架RooflineBench旨在通过分析设备端LLM在资源受限硬件上的性能特征来进行基准测试。此外，还在进行实际实验，以测试消费级硬件上本地LLM的能力，评估它们在编码任务中的性能以及从二进制代码中识别处理器架构的能力。
-
LLM推理成本由内存带宽驱动，而非计算
大型语言模型推理的主要成本驱动因素不是计算能力（FLOPs），而是内存带宽，尤其是在处理自回归解码过程中的KV缓存时。仅优化计算利用率会导致过度支出，因为与KV缓存所需的数据移动相比，每个token的实际算术运算非常少。需要进行架构更改，例如将预填充与解码分离，以及调整批处理大小和上下文大小，将内存带宽视为稀缺资源来有效管理成本。