PulseAugur
实时 10:48:34

新型30B大语言模型“Nex2 mini Phase Twin”针对Intel GPU上的本地AI进行了优化

一款拥有300亿参数的新模型Nex2 mini Phase Twin已发布,该模型针对本地大语言模型用户进行了优化,特别是拥有Intel Arc A770 GPU的用户。该模型设计用于在单卡设置下表现良好,在双卡设置下表现更佳,并能自动校准以适应用户的硬件以获得最佳性能。初步报告显示其性能良好,一位用户在一张16GB显卡上达到了每秒89个token的速率。 AI

影响 为运行本地大语言模型的用户提供了一个新选择,特别是那些拥有特定硬件(如Intel Arc GPU)的用户。

排序理由 发布了一款新的、针对本地使用进行优化的LLM模型。[lever_c_demoted from research: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

新型30B大语言模型“Nex2 mini Phase Twin”针对Intel GPU上的本地AI进行了优化

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/prince_pringle ·

    Nex2 mini Phase Twin - 16gb footprint, 30b model

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1u71arv/nex2_mini_phase_twin_16gb_footprint_30b_model/"> <img alt="Nex2 mini Phase Twin - 16gb footprint, 30b model" src="https://preview.redd.it/tmnk56525k7h1.png?width=140&amp;height=140&amp;auto=webp&amp;s=…