实体
Llama-2-7B-Chat
Llama-2-7B-Chat
PulseAugur coverage of Llama-2-7B-Chat — every cluster mentioning Llama-2-7B-Chat across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
设备端 LLM 安全分析揭示稀疏关键参数
研究人员调查了设备端语言模型（特别是 Llama-2-7B-Chat）的安全性，以确定安全关键参数是否集中在稀疏子集中。他们的分析显示，安全敏感性在模型中分布不均，MLP down_proj 持续显示出高敏感性。通过修改 down_proj 层中一小部分权重（0.19%），他们在保持 tinyBenchmarks 基线准确性的同时，实现了对抗性成功率（ASR）的显著提高，这表明了一种针对设备端模型进行分析和保护的靶向方法。
-
新的 RAG 研究增强了 LLM 的检索、遗忘和忠实性
多篇研究论文正在探索检索增强生成 (RAG) 的进展，以提高大型语言模型的性能和效率。Apple 的 CLaRa 框架在连续潜在空间中统一了检索和生成，以实现更好的压缩和端到端优化。其他研究侧重于 RAG 的机器学习遗忘，以删除敏感信息；RAG 的测试时适应，以处理领域转移；以及基于图的匹配，以改进多跳推理。此外，还在开发量化检索器-生成器对齐和抑制模型内部知识的方法，以增强 RAG 系统的忠实性。