一个名为 wllama 的新工具使用户能够直接在网页浏览器中运行 GGUF 大型语言模型。通过利用 WebAssembly 和 WebGPU,wllama 绕过了 4GB 内存限制等典型浏览器限制,并提供了比现有基于 JavaScript 的解决方案更快的性能。该项目还集成了腾讯的 HY-MT 模型进行翻译。 AI
影响 通过允许 LLM 在没有显著内存限制的情况下直接在网页浏览器中运行,从而实现更广泛的可访问性。
排序理由 该集群描述了一个新的软件工具,该工具集成了现有技术以一种新颖的方式运行 LLM。
在 Mastodon — fosstodon.org 阅读 →
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →