实体
Llama-2-7b-hf
Llama-2-7b-hf
PulseAugur coverage of Llama-2-7b-hf — every cluster mentioning Llama-2-7b-hf across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
1
90 天内 1
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 2 条
-
新的大语言模型遗忘方法解决鲁棒性和效用保持问题 · 跟踪5个来源
研究人员正在开发先进的大语言模型（LLM）遗忘技术，重点关注能够抵御重新学习攻击并保持模型效用的方法。BLADE和Margin Calibration (MC)等新方法旨在提高对遗忘过程的控制力，解决灾难性遗忘和信息删除脆弱性等问题。这些方法正在各种基准和模型规模上进行评估，重点关注对抗鲁棒性，以确保通过战略性提示无法轻易恢复被遗忘的信息。
-
KV 缓存优化解决 LLM GPU 内存瓶颈
大型语言模型 (LLM) 在服务效率方面面临着显著的瓶颈，原因是 KV 缓存的内存需求，它存储中间注意力计算。这个 KV 缓存对于实现更快的响应和处理更长的上下文窗口至关重要，但它会消耗高达 80% 的 GPU 内存。像 vLLM 的 PagedAttention 这样的创新，其灵感来自操作系统内存管理，通过优化 KV 缓存存储和减少内存碎片来解决这个问题，从而显著提高推理吞吐量。