PulseAugur
实时 03:27:45
English(EN) New week, more slides: Run LLMs Locally Now including wllama to run GGUF models inside your browser! wllama uses llama.cpp, WebAssembly and WebGPU, bringing a c

wllama 通过 WebAssembly 和 WebGPU 将 GGUF LLM 带入浏览器

一个名为 wllama 的新工具使用户能够直接在网页浏览器中运行 GGUF 大型语言模型。通过利用 WebAssemblyWebGPU,wllama 绕过了 4GB 内存限制等典型浏览器限制,并提供了比现有基于 JavaScript 的解决方案更快的性能。该项目还集成了腾讯的 HY-MT 模型进行翻译。 AI

影响 通过允许 LLM 在没有显著内存限制的情况下直接在网页浏览器中运行,从而实现更广泛的可访问性。

排序理由 该集群描述了一个新的软件工具,该工具集成了现有技术以一种新颖的方式运行 LLM。

在 Mastodon — fosstodon.org 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

报道来源 [1]

  1. Mastodon — fosstodon.org TIER_1 English(EN) · [email protected] ·

    新的一周,更多的幻灯片:现在可以在本地运行 LLM,包括 wllama,在浏览器中运行 GGUF 模型!wllama 使用 llama.cpp、WebAssembly 和 WebGPU,带来了 c

    New week, more slides: Run LLMs Locally Now including wllama to run GGUF models inside your browser! wllama uses llama.cpp, WebAssembly and WebGPU, bringing a completely new experience of LLMs into the web. It has no 4 GB limitation and is faster than Transformers.js. I also adde…