PulseAugur
中
实时 16:43:13
English(EN) Fixed the MTP head on Ornith1.5 35B A3B. +3% TPS -33% wall clock

优化的 Ornith1.5 35B A3B 模型显示出显著的速度提升

作者 PulseAugur 编辑部 · [1 个来源] ·

r/LocalLLaMA 上的一位用户修改了 Ornith1.5 35B A3B 模型，实现了任务完成时间减少 33%，每秒令牌数提高 3%。此优化涉及将一个训练好的 MTP 头部从另一个模型拼接到了 Ornith1.5 基础模型上。用户报告称，这个增强版本比之前的迭代更快、更准确，甚至在控制 HAM 无线电装置等特定应用中表现良好，而不会产生冗长的解释。 AI

影响 展示了开源 LLM 在社区驱动的性能增强方面的潜力。

排序理由 用户驱动的现有开源模型优化，并非来自大型实验室的前沿发布。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

优化的 Ornith1.5 35B A3B 模型显示出显著的速度提升

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/frankentriple ·

    修复了 Ornith1.5 35B A3B 上的 MTP 头部。TPS 提升 3%，实际运行时间缩短 33%

    <!-- SC_OFF --><div class="md"><p>I love the Ornith 35B local models, 1.0 has been running my HAM radio rig for me. I have a hackRF receiver and a 5 watt quansheng portable the both run headless through the PC. I tried out the new Ornith1.5 build and it was faster and more accura…

相关话题