实体
Dooly
Dooly
PulseAugur coverage of Dooly — every cluster mentioning Dooly across labs, papers, and developer communities, ranked by signal.
总计 · 30天
1
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
Dooly工具通过降低分析成本简化大模型推理模拟
研究人员开发了Dooly,一种旨在提高大模型(LLM)推理模拟效率的新型分析工具。传统的模拟器需要为每种配置进行广泛的重新分析,这非常耗时。Dooly通过理解模型配置和操作之间的结构关系来解决这个问题,使其能够进行配置无关和冗余感知的分析。这种方法在保持高模拟精度的同时,显著减少了分析所需的计算资源。
-
新研究探讨大语言模型安全、效率和训练优化
研究人员正在开发新的方法来提高大语言模型(LLMs)的效率和安全性。一种名为“Widening the Gap”的方法利用了异常值注入来破坏LLM量化,证明安全风险已延伸到AWQ和GPTQ等先进量化技术。同时,其他研究则专注于通过自适应量化(XFP)、设备-边缘协作的推测解码(GELATO)以及高效的KV缓存管理(SparKV、Feather、Dooly)来优化LLM推理。此外,新的框架正在涌现,用于分析LLM推理的稳定性(Queue…