Gemma 31b
PulseAugur coverage of Gemma 31b — every cluster mentioning Gemma 31b across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
Gemma 4 模型：fp8 格式在 AMD MI300X 上处理更大尺寸时超越 bf16
一份技术指南演示了如何使用 vLLM 在 AMD MI300X GPU 上部署从 2B 到 31B 参数的 Google Gemma 4 模型。分析显示，对于较小的模型（2B 参数），bfloat16 (bf16) 在单个用户时性能更快，而 fp8 仅在处理八个或更多并发请求时才具有竞争力。然而，对于 12B 参数及以上的模型，fp8 持续优于 bf16，在不同的请求负载和提示长度下均显示出显著的速度提升。
-
寻找编程和长上下文问答的 LLM 替代模型
一位 Reddit r/LocalLLaMA 社区用户正在寻找参数量低于 400 亿的大型语言模型推荐，作为 Qwen 和 DeepSeek 的替代品。用户特别需要擅长编程任务和长文档问答的模型，尤其是在处理长达 120,000 个 token 的上下文时。他们正在询问 Gemma 31B、Muse Glimmer 30B 和 Nemotron 等模型，以及这些替代模型的任何微调版本是否能在编程能力上超越 Qwen 3.8 27B。
-
Flash AI shell作者因Ollama基础设施限制而放弃微调
Flash AI shell的作者决定因基础设施限制而放弃微调其自定义Onyx模型。Flash依赖Ollama的云端模型来服务没有强大本地硬件的用户，但这种设置不允许部署自定义权重或LoRA适配器。作者没有进行传统微调，而是专注于改进Modelfile中的系统提示和其他参数，在无需专用GPU资源的情况下取得了显著成果。
-
AI爱好者为偏远乡村寻求本地LLM设置
Reddit的r/LocalLLaMA板块的一位用户正在寻求关于为偏远乡村的祖父设置本地AI模型的建议。这位祖父在使用ChatGPT后迷上了AI，希望在没有互联网接入的地区获得类似的体验，用于基本的问答和知识检索。用户为硬件预算为5000美元，正在考虑AMD AI Pro 9700搭配Gemma 31B模型等选项，或者可能使用双GPU进行更大模型的量化。目标是为祖父以及可能其他的村民提供一个功能性的AI助手。
-
鼓手发布Artemis 31B v1和v1.1，并计划推出共享推理平台
开发者drummer发布了其Artemis 31B模型的两个新版本：v1和v1.1。v1版本以其散文和写作能力而闻名，尽管在口吃等问题上需要一些用户干预。v1.1版本在保持质量的同时提高了稳定性，开发者因社区偏好而发布了这两个版本。开发者还提到了其他成功的微调模型，并正在开发一个类似HordeAI的共享本地推理平台。
-
Reddit 用户推测即将推出的 LLM 参数大小
Reddit r/LocalLLaMA 子版块上的一场讨论推测了即将推出的大型语言模型的参数大小，提到了“barium-122”和“Gemma 31b”等名称。用户们表达了对参数量显著更高的模型的希望，特别是那些超过 310 亿参数的模型。
-
研究发现：LLM 的概念几何形状由语境决定，而非预训练
一篇题为“语境为王：语境内指定如何塑造概念的几何形状”的新研究论文探讨了大型语言模型如何表示结构化概念。研究表明，提供给模型的语境内指定可以覆盖其预训练知识，即使使用任意标记，也能决定诸如周期或树等概念的几何结构。这种效应在更大的模型（如 Gemma-31B 和 Qwen-27B）中更为明显，激活修补证实了这种强加几何形状的因果使用。
-
Gemma-4 模型已移植到 AWS Inferentia2 加速器
作者成功将包括密集型和专家混合（MoE）变体在内的整个 Gemma-4 模型家族移植到 AWS Inferentia2 加速器上运行。这需要大量手动工作，因为供应商提供的工具（如 optimum-neuron 和 Neuron vLLM）不支持 Gemma-4 的特定架构，例如 KV 共享和 MoE。该过程需要自定义跟踪和编译管道，其中 31B 密集型模型和 26B-A4B MoE 模型带来了独特的扩展和架构挑战。
-
Google Gemma 4模型现已可在Unsloth上运行和训练
Google发布了Gemma 4，这是一套包含E2B、E4B、26B-A4B和31B的全新模型。这些模型现已兼容Unsloth，一个优化模型训练和推理的平台。Unsloth使用户能够在仅6GB内存的设备上运行较小的Gemma 4模型，使其在手机等设备上可用，而较大的模型则需要约18GB内存。此次更新还显著提高了工具调用（tool calling）的准确性和稳定性，减少了错误并增加了允许的调用次数。