Hy3 大型语言模型已发布，并通过新的拉取请求集成到 llama.cpp 项目中。早期用户报告称能够成功生成连贯的输出，并分享了特定硬件设置的性能指标。此次集成利用了 GGUF 格式，该工作归功于拉取请求作者 satindergrewal。 AI
影响 通过本地部署，使新的 Hy3 模型能够更广泛地访问和进行实验。
排序理由 该集群讨论了一个新 LLM 的发布及其集成到一个开源项目中，这属于研究和模型发布。 [lever_c_demoted from research: ic=1 ai=1.0]
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<!-- SC_OFF --><div class="md"><p>Early stages as the model was just released yesterday, but seems to be working already. Yay!</p> <p>Getting coherent output from the Q2_K, at about 10-11t/s on a 5090 + Zen 4 w/ 96GB DDR5.</p> <p><a href="https://github.com/ggml-org/llama.cpp/pul…