ModernBERT
PulseAugur coverage of ModernBERT — every cluster mentioning ModernBERT across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
新的SMIC方法增强了用于自然语言推理的Transformer模型
研究人员开发了一种名为共享多尺度输入-参考条件(SMIC)的新方法,以改进自然语言推理(NLI)模型。SMIC构建了一个单一的、依赖于输入的、多尺度的参考,该参考在Transformer层之间重用,每一层都对这个共享参考应用自己的变换。这种方法表现出了卓越的性能,在令牌-上下文Transformer(TCT)模型中实例化后,在ANLI基准测试的所有三轮测试中均取得了最高的准确率。
-
ParaTrace v8 开放权重模型在 RAID AI 检测排行榜上名列第五
Empirisch Tech 发布了 ParaTrace v8,这是一个专门针对 RAID (Robust AI Detector) 基准进行调优的开放权重模型。该模型在 RAID 排行榜上名列第五,在 1% 的误报率 (FPR) 下实现了 99.20% 的真阳性率 (TPR)。虽然在 RAID 框架内的 AI 检测任务中表现有效,但该模型在通用文本上的准确性较低,会标记一些人类书写的内容并遗漏 AI 生成的文本,因此适合研究目的而非通用用途。
-
新的ModernBERT冰岛语模型超越IceBERT
研究人员开发了基于ModernBERT架构的新型冰岛语语言模型,参数量从1200万到10亿不等。这些模型在90亿个token的开放数据上进行了训练,在十一个基准任务上的表现优于现有的IceBERT模型。值得注意的是,一个拥有10亿参数的模型,在从英文Ettin编码器进行预热后,在所有评估任务上都取得了最佳分数,这表明即使是基于英文的模型也能显著受益于冰岛语语言处理。
-
新专业LLM发布,用于拉丁语和鼠标行为分析
研究人员开发了两个专业的语言模型:LAMB,专为拉丁语设计;MouseGPT,用于分析鼠标行为。LAMB基于ModernBERT架构,使用新颖的掩码方案训练了超过740亿个拉丁语token,在大多数任务上的表现优于现有的拉丁语编码器。MouseGPT是一个视觉语言模型,将动物活动的原始视频转换为自然语言,用于自动行为分析,在精度和适应性方面均优于传统方法。
-
Intercom 通过用微调的 Qwen 模型替换 GPT-4.1 节省了数百万美元
Intercom 的首席人工智能官 Fergal Reid 讨论了一种优化大型语言模型使用的方法,即用针对特定、高流量辅助任务微调的小型开源模型替换昂贵的尖端模型。这种方法成功应用于查询规范化任务,其中一个拥有 140 亿参数的 Qwen 模型替换了 GPT-4.1 的摘要步骤,从而节省了大量成本。Reid 强调,当任务是辅助性的、尖端模型是过度杀伤力,并且一个提示良好的开源模型已经接近尖端模型的性能时,这种替换最为有效。
-
FLINT架构提高了检索模型的效率和可扩展性
研究人员推出了一种新颖的FLINT(Fixed-budget Late INTeraction,固定预算的后期交互)架构,旨在提高多向量检索模型的可扩展性。FLINT采用基于注意力的池化技术,用固定数量的嵌入向量来表示查询和文档,并对称地应用于双方。与现有的令牌级匹配方法相比,这种方法显著降低了存储需求并加快了检索速度。在包括复杂查询在内的各种基准测试中,FLINT都展现出相当或更优的排名效果,同时还实现了索引大小和端到端检索时间的实质性缩减。
-
Anthropic 用 Scion 取代 Git 来处理 AI 生成的代码;GitHub 加强安全性
Anthropic 开发了一个名为 Scion 的新版本控制系统,以应对其 AI 模型生成的大量代码,取代了 Git 等传统工具。此举解决了 Git 在处理频繁的自动化代码更改时出现的性能和成本问题。另外,GitHub 正在通过使用微调的 ModernBERT 模型进行密钥扫描来加强其安全性,而不是使用通用 LLM,研究人员正在探索将大型模拟数据转换为 AI 代理可查询格式的方法,例如在芯片验证中使用 SQLite。
-
研究识别出 AI 对话中的法律指导请求
研究人员开发了一种新的分类法,用于识别用户是否通过对话式 AI 寻求法律指导。他们对 WildChat-1M 数据集中的 2,000 多次真实对话进行了标注,发现相当一部分与法律相关的主题讨论确实是实际建议的请求。该研究还评估了 ModernBERT 模型与基线模型在检测这些寻求指导的查询方面的表现,并公开了他们的数据、代码和模型,以鼓励进一步的研究。
-
LLM 分类器需要超越有效输出格式的稳健评估
许多用作分类器的 LLM 应用,例如工单路由或内容审核,在实施时缺乏分类任务的标准安全措施。这些安全措施包括清晰的标签定义、带标签的测试集、有意义的概率分数以及不确定决策的升级路径。一项关于类型化决策模型的研究表明,仅仅更改标签名称就可能极大地改变模型的准确性,这凸显了有效的输出格式并不能保证正确的决策。基于错误成本实施概率阈值对于确保这些基于 LLM 的分类系统的可靠性至关重要。
-
大型语言模型应对知识冲突、多元视角和低资源语言 · 跟踪 7 个来源
近期研究探讨了大型语言模型如何处理冲突信息和多元视角。一篇论文介绍了一种方法,通过引入上下文可靠性的先验概率来解决模型内部知识与检索上下文之间的分歧,在新基准 GRACE 上表现优于现有基线。另一项研究考察了大型语言模型在有争议话题上的视角多样性,发现模型在英语中会进行规避,但在低资源语言中会坚持立场,且模型越大,跨语言世界观越一致。此外,研究还探讨了基于嵌入的教育分类法以改进学生建模,并探索了大型语言模型在巴什基尔语等低资源语言上的…
-
Jev 模型在 IMDb 评论上达到 96.5% 的零样本准确率
Sebastian Raschka 对文本分类器的分析表明,虽然传统的词袋模型结合逻辑回归等方法可以达到高准确率,但像 ModernBERT 这样的微调模型显示出进一步的改进。特别是 Jev 模型在 IMDb 评论的零样本性能上取得了显著的飞跃,以较低的成本实现了 96.5% 的准确率。
-
LLM蒸馏:生成式模型在复杂数据上优于判别式模型
一篇新的研究论文探讨了将大型语言模型(LLM)的知识蒸馏到小型学生模型中以进行多标签主题分配的有效性。该研究在各种参数规模下比较了生成式和判别式学生模型架构,发现判别式模型在结构化产品评论方面表现出色,而生成式模型在复杂的对话数据上表现更好。研究还强调了生成式模型在处理大型标签集和长尾分布时具有更优越的鲁棒性,这显著影响了判别式基线。
-
TabiBERT:发布新的土耳其语基础模型和基准
研究人员推出了 TabiBERT,一个基于 ModernBERT 架构的新型大规模土耳其语基础模型。该模型在超过一万亿个 token 的海量数据集上进行了训练,涵盖了网络文本、科学出版物和源代码,并支持 8,192 个 token 的上下文长度。为了评估 TabiBERT,开发了一个名为 TabiBench 的新基准,该基准包含八个任务类别中的 27 个数据集。与之前的土耳其语模型相比,TabiBERT 在问答和代码检索任务上表现出了卓越的性能。
-
微调的 ModernBERT 模型用于 LLM 安全防护检测
一个具有 2048 个 token 上下文窗口的微调 ModernBERT 模型正在生产环境中使用,用于识别 OCR 后医疗文档中的提示注入尝试。这种方法正作为一种零样本探测器,用于评估大型语言模型 (LLM) 的安全防护措施。该微调的小型语言模型 (SLM) 的有效性正与另一个称为 Jevíčko 的系统进行比较。
-
新的蒸馏方法提高了LLM任务路由效率
研究人员开发了一种学生指导教师蒸馏流程,以提高将用户请求路由到专门的大型语言模型(LLM)任务的效率。该方法使用紧凑的ModernBERT分类器作为学生模型,预测类别分布并检索一小组顶级候选。然后,一个更大的DeBERTa-v3分类器仅对这些候选进行重新排序,而不是对所有可能的标签进行排序。教师标签的迭代生成会改进学生模型,增强其为未来请求生成更精确候选的能力。这种方法旨在降低零样本分类器相关的计算成本,这些分类器的成本通常与任务类别…
-
新的开源 System One 模型 Laya、Lev 和 CLM 提供了不同的架构
名为 Laya、Lev 和 CLM 的专有 Jev 模型的新开源替代品已经出现,每种模型都提供了 System One 模型独特架构方法。这些模型基于 Qwen 和 ModernBERT 等基础语言模型构建,在一个通道中处理给定的状态和一组选项,以确定每个选项的概率。关键区别在于它们如何从网络读取决策:Laya 连接状态和选项,Lev 将其视为多项选择题,而 CLM 在比较之前单独对其进行编码。
-
紧凑型 HTML-LM 模型在捷克网络文档方面达到最先进水平
研究人员开发了 HTML-LM,一个拥有 1.54 亿参数的紧凑型基础模型,旨在高效处理捷克 HTML 文档。该模型基于 ModernBERT 架构构建,利用了 HTML 感知训练和多种目标,包括掩码语言建模以及从更大模型进行对比蒸馏。HTML-LM 已投入生产,每秒可处理数千份网页文档,并在捷克互联网领域的分类和回归任务上取得了最先进的性能,优于更大的编码器和更小的 LLM。
-
H公司发布单塔多模态编码器系列NeoMME
H公司推出了NeoMME,这是一个专为提高效率而设计的新型多模态编码器系列。这些模型提供2.6亿和8亿参数两种尺寸,无需独立的视觉塔和因果解码器,通过单一Transformer架构处理文本和图像数据。这种简化的方法旨在降低计算开销,同时保持强大的性能,其中2.6亿参数的NeoMME-Retriever在文档检索基准测试中取得了有竞争力的结果。
-
Hugging Face发布高效多模态编码器NeoMME,研究表明编码器在印度语言NER任务上表现更优
Hugging Face推出了NeoMME,一个旨在提高效率的新型多语言多模态编码器系列。与许多生成式模型不同,NeoMME使用单个双向Transformer处理文本和图像块,并采用掩码离散扩散目标从头开始训练。在针对视觉文档检索进行微调后,NeoMME-Retriever表现出强大的性能,并显著降低了存储需求。此外,一项关于Naamapadam的研究发现,在大多数印度语言的命名实体识别任务中,基于编码器的模型性能远超生成式架构。
-
新研究探索Transformer层中语法的几何结构
一篇新研究论文探讨了Transformer模型中语言表示的几何特性。该研究调查了这些表示的内在维度(ID)如何在不同层之间变化,以及这与词元的语法角色之间的关系。研究人员发现,不同类型的词(开放类词与封闭类词)表现出不同的ID扩展和收缩模式,并且仅凭几何特征就可以预测词元的语法角色。