一篇新论文提出了一个理论框架,将边际效用的经济学原理与诸如矩阵分解和Transformer语言模型中的键值(KV)缓存等机器学习概念统一起来。该框架提出了一个保留顶部维度(基于其特征值超过影子价格)的分配规则。该论文将其应用于地理挖掘文档提取,详细介绍了多遍推理协议和逐层TIES模型合并过程。在实践中,一个拥有1120万参数的分类器在铀勘探语料库上实现了90.0%的准确率,同时具有低延迟和低成本;一项诊断揭示并纠正了一种退化的合并模式。 AI
影响 为优化LLM推理效率和模型合并技术引入了新颖的理论视角。
排序理由 该集群包含一篇arXiv论文,详细介绍了AI模型推理和优化的理论和实践贡献。[lever_c_demoted from research: ic=1 ai=1.0]
- alphaXiv
- Caroline Gans Combe
- CatalyzeX
- Conditional Value-at-Risk
- DagsHub
- Key-Value (KV) cache
- LoRA+
- TIES model
- transformer language models
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →