PulseAugur
中
实时 20:15:48
English(EN) Today was the perfect day for Poolside to drop Laguna S 2.1 because I just got these in! Finally have a half decent amount of VRAM. 3x V620 = 96 GB.

Poolside 发布 Laguna S 2.1，拥有 256K 上下文，实现高 token 速度

作者 PulseAugur 编辑部 · [1 个来源] ·

Poolside 发布了 Laguna S 2.1，一个支持 F16 量化且上下文长度为 256K 的新模型。早期性能测试显示速度惊人，预填充速度达到 400-600 token/秒，生成速度为 16-20 token/秒。这些结果是在 Dell PowerEdge R740 服务器中使用三块 V620 Aurigae GPU 实现的，总共提供了 96 GB 的显存。 AI

影响 此次发布为需要大上下文窗口和高 token 生成速度的用户提供了一个新选择。

排序理由 前沿实验室发布新模型。[lever_c_demoted from frontier_release: ic=1 ai=1.0]

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

Poolside 发布 Laguna S 2.1，拥有 256K 上下文，实现高 token 速度

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/_TheWolfOfWalmart_ ·

    Today was the perfect day for Poolside to drop Laguna S 2.1 because I just got these in! Finally have a half decent amount of VRAM. 3x V620 = 96 GB.

    <table> <tr><td> <a href="https://www.reddit.com/r/LocalLLaMA/comments/1v353sh/today_was_the_perfect_day_for_poolside_to_drop/"> <img alt="Today was the perfect day for Poolside to drop Laguna S 2.1 because I just got these in! Finally have a half decent amount of VRAM. 3x V620 =…

相关实体

相关话题