Edge0
PulseAugur coverage of Edge0 — every cluster mentioning Edge0 across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Edge0发布0.6B语音克隆TTS模型Audio8-TTS-Realistic
Edge0发布了Audio8-TTS-Realistic，一个拥有0.6亿参数的开放权重模型，支持零样本语音克隆。该模型支持23种语言，并针对高效微调和推理进行了优化，在CV3等特定基准测试中表现优于更大的开放模型。它采用了双自回归架构和一种新颖的训练方法，包括一个真实感批评器，以超越传统的词错误率等指标来增强自然度。
-
高效的 35B 模型（3B 激活参数）获得关注
开放权重模型 Edge0/Edge0-35B-A3B-preview，在其 350 亿总参数中仅激活 30 亿参数，已获得显著采用。该模型在 30 天内实现了 27.8k 下载量和 3.2k 点赞量，展示了其效率。该模型的 Apache-2.0 许可证使其适用于实际应用。
-
新引擎在消费级硬件上从 SSD 提供 35B MoE 模型服务
研究人员开发了一种名为 Edge0 的新推理引擎，该引擎通过有效利用固态硬盘 (SSD) 使大型专家混合 (MoE) 模型能够在消费级硬件上运行。该系统采用了一个“预路由器”，可以提前一个 token 预测下一层的专家，从而实现预加载并将 I/O 延迟隐藏在计算之后。这种方法允许在单台 24GB 机器上运行 35B MoE 模型，且质量损失极小，速度达到 20 tokens/秒。该框架（包括检查点和适配器）是开源的。
-
Edge0-AI 将 35B MoE 模型从 SSD 流式传输以适应 3GB RAM
Edge0-AI 发布了 Edge0，这是一个开源流式推理引擎，旨在消费级硬件上运行大型混合专家（MoE）模型。该引擎通过在 SSD 上内存映射整个模型检查点，并为每个 token 只将活动使用的专家加载到 RAM 中来实现这一点。这种方法允许一个拥有 350 亿参数的模型在峰值内存使用量约为 3GB 的情况下运行，尽管它严重依赖操作系统文件缓存，并且频繁的读取可能会影响 SSD 的寿命。
-
Edge0发布35B MoE LLM以支持低内存设备
Edge0发布了其Edge0-35B-A3B模型的预览版，这是一个拥有350亿参数的稀疏专家混合（MoE）大型语言模型，专为在内存有限的设备上高效运行而设计。该模型通过按需流式传输专家，所需的活动RAM低于3 GiB，能够实现每秒15个token的交互速度。提供了将此模型与MLX、LM Studio和Hermes Agent等各种库和应用程序集成的说明，使其可以在Raspberry Pi等设备上本地使用。