down_proj
PulseAugur coverage of down_proj — every cluster mentioning down_proj across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Spectral perturbations reveal structured capabilities in Llama and Qwen models
研究人员开发了一种使用谱平滑和尖峰扰动来分析大型语言模型内部结构的方法。通过改变 Transformer 前馈投影的奇异值谱，他们观察到模型能力（如事实知识、语言理解和演绎推理）发生了变化。该技术应用于开源 Llama 和 Qwen 模型，揭示了这些扰动可以有选择地抑制或增强特定任务的性能，表明模型内部的能力组织结构化。
-
设备端 LLM 安全分析揭示稀疏关键参数
研究人员调查了设备端语言模型（特别是 Llama-2-7B-Chat）的安全性，以确定安全关键参数是否集中在稀疏子集中。他们的分析显示，安全敏感性在模型中分布不均，MLP down_proj 持续显示出高敏感性。通过修改 down_proj 层中一小部分权重（0.19%），他们在保持 tinyBenchmarks 基线准确性的同时，实现了对抗性成功率（ASR）的显著提高，这表明了一种针对设备端模型进行分析和保护的靶向方法。
-
vLLM 漏洞允许不兼容的 LoRA 适配器静默加载
vLLM 库中的一个漏洞允许用户加载与指定模型架构不兼容的 LoRA 适配器，导致模型在没有任何错误或警告的情况下默认使用其基础版本。该问题源于 vLLM 对 LoRA 模块兼容性执行两次独立的检查：一次是针对 `supported_lora_modules` 的宽松检查，另一次是针对 `lora_config.target_modules` 的严格检查。如果适配器的目标模块与模型的架构不匹配，宽松检查会通过，但严格检查未能应用适配器…