gemma3
PulseAugur coverage of gemma3 — every cluster mentioning gemma3 across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
KVzip 方法以最小的性能损失高效压缩 LLM KV 缓存
研究人员开发了 KVzip，一种用于大型语言模型 (LLM) 中高效键值 (KV) 缓存管理的新颖方法。该技术使用轻量级 Sink-Attention 门控模块来识别和保留关键 KV 对，允许高达 70% 的 KV 缓存被驱逐，而计算开销可忽略不计。在 Qwen2.5-1M、Qwen3 和 Gemma3 等模型上的实验表明，KVzip 在长上下文理解、代码理解和数学推理等各种任务中保持近乎无损的性能。
-
语言模型未能掌握文化细微差别，新基准揭示 · 跟踪 2 个来源
一项新研究表明，当前的语言模型在理解文化细微差别方面存在困难，即使使用特定语言进行提示也是如此。研究人员开发了一个基准 CAB-Igbo，使用本土文化来源来评估模型对伊博文化的理解。研究结果表明，虽然模型可能精通某种语言，但它们通常缺乏真正的文化对齐所需的认识论保真度和表征丰富性。Gemini 2.0 Flash 是唯一一个在用伊博语提示时表现出文化知识提升的模型，这表明当前的评估方法，特别是选择题形式，可能误导了对模型理解的评估。
-
提示词格式而非风格决定小型 LLM 的性能
一项最新研究测试了不同提示词风格如何影响小型语言模型，发现格式指令比所用语言的语域或复杂性更为关键。在数学、提取和分类等各种任务中，模型通常表现相似，无论提示词是朴素的、普通的还是华丽的，特别是对于参数量大于 40 亿的模型。然而，对于数学问题，华丽的提示词会通过阻止模型展示解题过程而显著降低准确性，而像“只给出数字”与“只用数字回答”这样的特定格式指令会极大地改变性能。
-
llama.cpp 更新修复了 ggml-openvino 后端问题
llama.cpp 项目发布了更新 b11436，重点改进和修复了其 ggml-openvino 后端的问题。这些更改解决了图编译、Gemma3 等模型的动态 token 维度以及特定权重量化类型的 GPU 回归问题。更新还包括修复 CONCAT 操作中量化类型的处理，并调整逐元素操作数秩以解决 GPU 插件中的缺陷，特别是影响 Gemma-3 等模型。
-
边缘可部署的VLMs在相机陷阱图像物种识别方面存在困难
一篇新的arXiv论文研究了边缘可部署的视觉-语言模型（VLMs）在物种识别方面的有效性。研究发现，虽然Qwen3 VL和Gemma3等模型表现优于随机猜测，但在真实相机陷阱图像上测试时，与清晰照片相比，它们的性能显著下降。尽管BioCLIP体积较小，但作为一个领域特定的模型，其表现优于所测试的VLMs，这表明对于这项任务来说，专门的训练数据比模型规模更重要。然而，BioCLIP在野外图像上的性能也有显著下降，这表明将VLMs适应不同…
-
Google DeepMind 论文提出 LLM 的无训练架构演化
来自 Google DeepMind 的一篇新论文介绍了一种无需训练即可增强模型架构的方法，使其能够指导自身的修改。这种称为“再循环”（recirculation）的方法允许前馈 Transformer 作为动力学系统运行，在预填充期间将激活反馈回自身，以在不重新训练的情况下跟踪信念状态。该方法已显示出显著的改进，一种自适应变体在 Gemma3 系列模型上将困惑度降低了 23%，并将 GSM8k 准确率提高了 21%，仅使用了原始权重…
-
新的“循环”技术在不增加延迟的情况下提高了基础模型的准确性
研究人员开发了一种名为“循环”（recirculation）的新型推理时架构增强技术，用于基础模型，可显著降低困惑度并提高生成和推理任务的准确性。该技术引入了一种递归形式，使模型能够充当动态系统并跟踪信念状态，而不会在生成过程中增加延迟，尽管它在预填充阶段需要串行处理。一种自适应的循环变体，在保持原始模型权重冻结的情况下，仅需进行轻微的超参数调整，就在 Gemma3 系列模型上实现了 23% 的困惑度降低和 21% 的准确性提升。
-
新的维纳滤波技术可减少视觉语言模型中的幻觉
研究人员开发了一种名为维纳表示滤波（Wiener Representation Filtering）的新颖技术，以减少视觉语言模型（VLMs）中的幻觉。这种无需训练的方法在事后通过编辑语言主干的表示空间来运行。通过将隐藏状态建模为真实和幻觉成分的组合，该技术推导出一个维纳型估计器，可以减弱与幻觉相关的模式。该方法应用于 LLaVA-1.5、MiniGPT-4、Gemma3 和 mPLUG-Owl2 等模型，在 CHAIR、POPE 和…
-
用户花费200美元从头开始训练了一个11亿参数的LLM，并分享了代码和模型
一位用户仅花费约200美元就从头开始成功训练了一个拥有11亿参数的大型语言模型。该模型名为'gemmeh'，在fineweb-edu数据集的200亿个token上进行了预训练，然后使用LoRA在openhermes数据集上进行了微调，以创建一个能够进行聊天的模型。该用户分享了该项目的代码、模型权重和一个演示网站，并详细介绍了架构选择和训练过程。
-
大语言模型研究解决智能体确定性和预算限制问题
一篇新的技术论文探讨了大语言模型（LLM）系统中智能体确定性和预算限制所面临的挑战。研究强调，当真实正例的数量超过系统的处理预算时，物品的顺序比具体的触发器定义更为关键。使用 qwen3-0.5b 和 gemma3 等模型的实验表明，当前的单判决输出不足以提供足够的“漏判质量”以使基于位移的触发器生效。该论文还研究了排序机制是否能在升级流中提高性能，发现在特定压力条件下，一个名为 R_hist 的排序器显示出潜力，尽管其有效性仅限于测…
-
参数量低于10亿的大语言模型（LLM）裁判在方向性错误上表现不佳；更大的模型表现出色
进行了一项实验，以调查大语言模型（LLM）裁判在识别方向性错误方面的准确性，方向性错误是指输出在语义上颠倒了任务指令。研究发现，参数量小于10亿的小型模型在这些错误上存在显著困难，误判了超过三分之一的明确矛盾和近一半的微妙矛盾。参数量大于40亿的大型模型在捕捉明确的方向性错误方面表现出近乎完美的准确性，微妙的错误也显著减少。作者还撤回了之前关于大语言模型（LLM）裁判的虚假说法，并纠正了对特定错误场景的错误描述。
-
无需昂贵的硬件即可在本地微调和运行LLM
最近的两篇文章详细介绍了在本地微调和运行大型语言模型（LLM）的方法，无需昂贵的云基础设施或高端GPU。第一篇文章侧重于在macOS、Linux和Windows Subsystem for Linux上使用Unsloth Studio进行本地微调，解释了从安装到监控结果的整个过程。第二篇文章提供了仅使用CPU进行LLM推理的指南，使用户能够通过利用Ollama和优化的量化格式等工具，在标准硬件上运行Llama 3.2、Mistral和…
-
大型语言模型对用户信念的回应通过语言框架进行评估
一项新的研究论文探讨了用户信念的语言框架如何影响大型语言模型（LLM）的回应。研究人员开发了一种信念表达（EoBs）的类型学，涵盖形式、证据性、认识论立场和语气等维度。他们利用这种类型学创建了受控的查询对，并评估了包括Llama 3、Qwen3和Gemma3在内的16个大型语言模型。研究发现，与较小的基础模型相比，更大、经过指令微调的模型不太可能遵循上下文，并确定了更一致地说服大型语言模型的特定语言线索。
-
MedGemma-1.5-4B 使用 llm-compressor 量化到 INT4
一份技术指南详细介绍了使用 llm-compressor 库将 Google 的 MedGemma-1.5-4B 医学视觉语言模型量化到 INT4 (W4A16) 的过程。作者遇到了并解决了几个问题，包括 AutoAWQ 的弃用以及与 Gemma3 架构的兼容性问题。该指南提供了设置环境、加载模型、准备校准数据集和运行量化过程的具体步骤，最终将模型的自托管部署大小从 8.6 GB 减少到 5.2 GB。
-
新方法使用OCEAN框架映射和控制LLM个性特征
研究人员开发了一种名为“Persona Cartography”的方法来衡量和控制大型语言模型（LLM）的个性特征。通过改编OCEAN框架（开放性、尽责性、外向性、宜人性、神经质），他们可以训练低秩适配器来放大或抑制40亿到320亿参数模型中的特定特征。这些适配器在模型规模扩展时对特征表现出很大程度上单调的影响，并且可以累加组合，影响诸如沮丧和谄媚等与安全相关的行为。该方法还包括一个无监督流程，用于发现人类心理测量学未预定义的、可解释的行为因素。
-
视觉语言模型用于纺织品分拣基准测试，Qwen 准确率领先
研究人员开发了一个数字孪生驱动的机器人系统，用于自动化纺织品分拣，集成了视觉语言模型（VLMs）进行分类和异物检测。该系统使用九种 VLMs 对各种服装类型和异物进行了基准测试，其中 Qwen 模型系列取得了 87.9% 的最高准确率。Gemma3 等较轻量级模型在边缘部署方面具有具有竞争力的速度-准确性权衡。该方法结合了 VLM 推理、抓取检测和数字孪生技术，以提高操作可靠性，并实现工业环境中可扩展的自主纺织品分拣。
-
新框架探测多模态大语言模型的内部决策压力
研究人员开发了一个名为 S$^3$E 的新框架，通过在语义压力下探测多模态语言模型的内部决策状态来评估它们。该方法将图像支持的字幕与语义上相似但错误的选项进行对比，分析隐藏状态以检测模型即使在外部行为保持正确时也可能存在的内部不稳定性。对 Qwen3VL、Gemma3 和 InternVL3 等模型的研究表明，语义压力会导致显著的内部状态位移，这表明仅凭外部正确性不足以保证稳定的内部决策几何。
-
AI模型 Gemma 3:12b 生成灰色外星人ASCII艺术图
一位Mastodon用户分享了一张描绘灰色外星人的ASCII艺术图，并附有标签“gemma3 :12b”。该帖子还包含“LLM”和“AI”的通用标签，表明与大型语言模型相关。