来自加州大学伯克利分校和麻省理工学院的研究人员推出了FreeToken,一个旨在提高混合专家(MoE)模型性能的开源推理引擎。该新引擎专门针对在消费级硬件上运行这些复杂模型进行了优化,使先进的AI更加易于获取。 AI
影响 这一发展可能使先进的混合专家模型在标准消费级硬件上更容易使用。
排序理由 该集群描述了一个新的AI模型开源推理引擎的开发。[lever_c_demoted from research: ic=1 ai=1.0]
在 Mastodon — mastodon.social 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →