实体
Qwen2-7B
Qwen2-7B
PulseAugur coverage of Qwen2-7B — every cluster mentioning Qwen2-7B across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
新框架通过建模任务关系优化大型语言模型微调
研究人员开发了一个名为TaskPGM的新框架，用于优化大型语言模型的微调过程。该方法使用基于能量的任务模型，将任务表示为马尔可夫随机场，以捕捉任务间的关系和效用。通过平衡覆盖率与冗余度，TaskPGM改进了标准的混合策略，并提供了对任务交互的可解释见解，在LLaMA-7B和Qwen2-7B等模型上展示了增强的性能。
-
指南详述使用 llama.cpp 和 Ollama 进行本地 LLM 设置
这一系列指南详细介绍了如何在 Linux 系统上本地设置和运行大型语言模型（LLM）。内容涵盖框架比较，重点关注 llama.cpp 和 Ollama，并提供了两者的分步安装说明。指南还解释了模型选择、量化类型以及如何配置 API 服务器以与其他工具集成。最后，它们提供了有关设置 systemd 服务以实现持续运行、监控性能和解决常见问题的建议。
-
新研究揭示LLM前馈层中的关键损失通道
研究人员在大型语言模型（LLM）的前馈层中识别出一种特定的组织结构，称为“超级节点”（supernodes）和“光环”（halos）。这些超级节点代表了模型性能的关键通道的一小部分，却占有显著的损失敏感性。该研究分析了Llama-3.1-8B和Mistral-7B等模型，发现保留这些关键通道对于有效的模型剪枝和保持性能至关重要。