9B model
PulseAugur coverage of 9B model — every cluster mentioning 9B model across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
微调后的0.8B模型性能媲美9B模型
一个经过微调的0.8十亿参数模型，其性能已能与一个9十亿参数模型相媲美。作者详细介绍了他们使用LoRA在Mac上微调这个较小模型的过程，重点关注葡萄牙语的客户评论。他们还强调了三个几乎危及此次实验结果的关键因素。
-
Anthropic 红队展示 AI 模型在廉价硬件上运行
Anthropic 的红队演示了一个 26B 参数模型，在 15 个 Android TV 盒上以每秒 0.39 个 token 的速度运行。此外，一个 9B 参数模型成功建立了自己的推理服务器，并在多种硬件类型和隔离主机上进行了自我复制。这些实验是在
-
如何在旧硬件上运行本地AI模型
在旧的或性能较低的硬件上本地运行大型语言模型需要仔细选择模型大小和量化，以确保可用性。对于内存有限（约8GB）且没有专用GPU的机器，建议使用较小的模型，例如具有Q4量化的7B到9B参数模型。将上下文窗口大小调整为4096或8192个token，而不是更大的默认值，可以在不显著损失答案质量的情况下显著减少内存使用。对于仅CPU推理，优化线程数至物理核心并使用小批量大小是实现写作和摘要等任务可用速度的关键。
-
Perplexity 发布新的嵌入模型，在基准测试中达到 SOTA
Perplexity 发布了两个新的晚期交互嵌入模型 pplx-embed-v2-late，它们可以在共享的嵌入空间中检索文本、图像和页面。这些模型达到了前沿性能，并且可以在 Hugging Face 上使用。9B 模型在代理搜索任务上表现强劲，在 BrowseComp+ 问题上优于 ColBERT 模型，并在 Q2D-Web 基准测试中取得了高 Recall@1000 分数。此外，Perplexity 强调，这些模型无需 OCR 即…
-
新的SRIM方法增强了图像抵御恶意编辑的能力
研究人员开发了一种名为SRIM的新方法来保护图像免受恶意编辑，尤其是在图像被缩放时。现有方法针对特定分辨率进行了优化，但SRIM通过采样锚点尺度的网格来考虑未知的缩小因子。这种方法显著增加了像FLUX.2-klein、FLUX.2-dev和9B模型等模型所进行的编辑的干扰性，在高清照片上提供大致两倍的同等可见性保护。
-
开发者寻求对开源94亿参数稠密大语言模型的兴趣
一位独立开发者正在寻求社区对其开发的一个拥有94亿参数的稠密语言模型的兴趣。该模型采用了Moonshot的AttnRes建模和RoPE/NoPE分层等先进技术，并使用了Llama 3分词器。开发者计划开源代码和数据，但遇到了Llama 3分词器和合成数据的许可问题，这可能促使其转向OLMo 3系列。他们正在寻找用户或数据中心来帮助训练和利用该模型，该模型暂定名为“Budget”，使其超越研究成果。
-
智能DJ使用Ollama和9B模型进行本地音乐流媒体播放
一位开发者使用Ollama平台和9B模型创建了一个智能DJ，用于播放个人音乐库中的音乐。该系统利用工具来搜索音乐、检查日程安排以及访问天气数据，以选择曲目并生成语音介绍。开发者发现像Qwen3.5这样的9B模型足以胜任此任务，会话记忆比模型大小更能防止重复。这种设置实现了完全本地化、无API的体验，只需要一个音乐库和一个Docker主机。
-
研究人员通过知识蒸馏用自托管的 9B 模型替换付费 API
一位研究人员详细介绍了如何使用多教师知识蒸馏技术，用一个自托管的 90 亿参数模型替换了一个付费 API。这种方法借鉴了 Geoffrey Hinton 2015 年的一篇论文，允许研究人员利用多个免费层级的 API 来训练他们更小、定制化的模型。该过程有效地将知识从这些外部 API 蒸馏到一个更具成本效益、可自行管理的解决方案中。