XLM-RoBERTa
PulseAugur coverage of XLM-RoBERTa — every cluster mentioning XLM-RoBERTa across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
新数据集旨在针对喀麦隆皮钦语和Camfranglais的跨方言NLI评估
研究人员开发了CamSpokenNLI,这是一个新的试点数据集,旨在评估喀麦隆皮钦英语和Camfranglais的自然语言推理(NLI)中的跨方言迁移。该数据集包含228个口语NLI条目,由母语者录制,包含前提音频、文本、NLI标签和英语释义。使用XLM-RoBERTa进行的初步实验显示准确性有限,结果并不显著优于随机猜测,并且受到假设措辞的严重影响。此外,像Whisper Large V3这样的语音识别模型在准确转录皮钦语录音方面遇…
-
新基准PhoPunct评估用于越南语标点恢复的Transformer架构
研究人员开发了PhoPunct,一个用于评估越南语标点恢复模型的大规模基准测试。该基准测试包含来自新闻和小说语料库的2210万个带标签的词元,用于测试17种不同的基于Transformer的架构。研究结果表明,在固定训练预算下,添加Bi-LSTM和CRF层并不能持续提高性能,而简单的Transformer分类器通常能达到或超过其Bi-LSTM-CRF对应物的性能。PhoPunct在新闻语料库上取得了最佳结果,而带有CRF的XLM-R在…
-
讽刺阻碍了大型语言模型和微调模型对土耳其仇恨言论的检测
一项新的研究论文介绍了 SarcasTraps,这是一个旨在评估讽刺如何影响土耳其仇恨言论检测的数据集。研究发现,讽刺显著挑战了 BERTurk 和 XLM-RoBERTa 等微调模型,以及 GPT-4.1 和 Llama 3.3 70B Instruct 等大型语言模型,导致在识别讽刺性仇恨言论时召回率或精确率降低。
-
大型语言模型应对知识冲突、多元视角和低资源语言 · 跟踪 7 个来源
近期研究探讨了大型语言模型如何处理冲突信息和多元视角。一篇论文介绍了一种方法,通过引入上下文可靠性的先验概率来解决模型内部知识与检索上下文之间的分歧,在新基准 GRACE 上表现优于现有基线。另一项研究考察了大型语言模型在有争议话题上的视角多样性,发现模型在英语中会进行规避,但在低资源语言中会坚持立场,且模型越大,跨语言世界观越一致。此外,研究还探讨了基于嵌入的教育分类法以改进学生建模,并探索了大型语言模型在巴什基尔语等低资源语言上的…
-
RAG 流水线问题:BGE-Reranker 在 512 个 token 时截断关键数据
一位开发者在使用检索增强生成(RAG)流水线时遇到了问题,其中一个交叉编码器重排序器,特别是 BAAI/bge-reranker-base,正在截断相关信息。该重排序器设计用于处理最多 512 个 token 的查询和段落对,但由于其 BERT 风格的架构和 Hugging Face 的 longest_first 截断策略,它会截断较长段落的末尾。这导致关键信息(通常位于文档末尾,如解决方案步骤)被丢弃,从而导致答案不正确。开发者建…
-
语言模型在宣传检测方面的比较 · 研究论文
一篇新的研究论文比较了掩码语言模型(MLMs)和因果语言模型在检测宣传技巧方面的有效性。该研究使用SemEval-2020 Task 11数据集,评估了XLM-RoBERTa和DeBERTa-v3等模型与来自OpenAI、Google、Mistral AI、Anthropic和Meta的因果模型。研究发现,两种类型的模型都比现有方法有所改进,其中因果模型的F1分数略高于MLMs,分别为63.62和63.18。研究还指出,不同的模型在特…
-
大型语言模型分析俄罗斯社交媒体上的自发价值观表达
研究人员开发了一个新颖的框架,用于分析在俄罗斯社交媒体上自发表达的人类价值观,这与传统的调查方法形成对比。该框架利用大型语言模型和 XLM-RoBERTa 编码器处理来自 VKontakte 的 750 万条公开帖子,在专家基准测试中达到了 .60 的宏观 PR-AUC。虽然在很大程度上恢复了 Schwartz 提出的价值观的圆形结构,但与调查结果相比,社交媒体分析显示享乐主义(Hedonism)有所提高,而普遍主义(Universa…
-
新的多语言隐私标记器性能超越 GLiNER2、Presidio 和 OpenAI
研究人员开发了一种新的多语言命名实体标记器,用于隐私 redaction,其性能优于 GLiNER2、Microsoft Presidio 和 OpenAI Privacy Filter 等现有工具。该标记器在多语言编码器上进行了微调,在 35 种语言中实现了 88.8 的 redaction F1 分数和 76.3 的精确类型跨度识别。该系统比本地 LLM 快得多,CPU 吞吐量是 GLiNER2 的 4.9 倍,使其在隐私保护文本…
-
领域特定预训练提升了Transformer在阿拉伯语-英语语码转换上的性能
一项发表在arXiv上的新研究探讨了领域特定预训练对Transformer模型分析阿拉伯语-英语语码转换的影响。研究评估了MARBERT和XLM-RoBERTa(以BERT为基线)在社交媒体语篇中对语用功能进行分类的表现。研究结果表明,在独立测试集上,MARBERT的宏F1得分显著优于XLM-RoBERTa,达到了0.85,而XLM-RoBERTa为0.52。研究得出结论,对于专门的语用任务,领域特定预训练的简介比单独的多语言覆盖对T…
-
AI框架纳入标注者心理学以检测性别歧视
来自VANGUARD的研究人员开发了一个多模态框架,用于在线检测性别歧视,该框架将标注者心理学和人口统计学纳入检测过程。他们的方法使用交叉注意力架构融合了五种输入模态,并通过逐特征线性调制来条件化模型。该系统利用Gemma 4进行模因文本提取和描述,利用NLLB-200进行翻译,并采用改编的XLM-RoBERTa和CLIP编码器进行文本和图像表示。子任务2.1被构建为标签分布学习问题,以模拟标注者主观性,预测结果来自深度多模态网络和互…
-
新的IndicTriMix方法改进了混合语文本中的语言识别
研究人员开发了一种名为IndicTriMix的新方法,用于识别混合语文本中的语言,这种文本在社交媒体上很常见。该方法将语言识别视为一个序列标注问题,并对MuRIL和XLM-RoBERTa等基于Transformer的模型进行微调。该系统在涉及印地语、古吉拉特语和孟加拉语的数据集上进行了评估,证明了在标记级别预测语言标签的有效性。该团队还发布了微调模型和基准数据集,以支持该领域的未来研究。
-
Transformer 在多语言可读性评估中模仿传统模型
研究人员分析了基于 Transformer 的模型和基于传统特征的模型在多语言可读性评估方面的处理方式。他们发现,虽然 Transformer 模型取得了高准确率,但其内部特征表示在阿拉伯语、英语、法语、印地语和俄语等多种语言上与传统模型一致。这种一致性延伸到表面、句法和词汇特征,以及欧洲语言共同参考框架的序数结构。然而,一致性的程度因模型家族、语言和所检查的具体层而异。
-
微调大型语言模型:开始前的四个关键步骤
文章建议不要立即微调像GPT-3、Bert、T5、Roberta和XLM-RoBERTa这样的大型语言模型。它建议在进行微调之前执行四个关键步骤,以确保更好、更可靠的结果。这些步骤旨在帮助用户避免常见陷阱,并从微调后的模型中获得更准确的输出。
-
Hugging Face发布高效多模态编码器NeoMME,研究表明编码器在印度语言NER任务上表现更优
Hugging Face推出了NeoMME,一个旨在提高效率的新型多语言多模态编码器系列。与许多生成式模型不同,NeoMME使用单个双向Transformer处理文本和图像块,并采用掩码离散扩散目标从头开始训练。在针对视觉文档检索进行微调后,NeoMME-Retriever表现出强大的性能,并显著降低了存储需求。此外,一项关于Naamapadam的研究发现,在大多数印度语言的命名实体识别任务中,基于编码器的模型性能远超生成式架构。
-
新型TabuLM模型利用表格数据增强低资源语言处理能力
研究人员开发了TabuLM,这是一种新颖的语言模型,专门在卢旺达语表格数据上进行预训练,以解决低资源语言资源稀缺的问题。该模型扩展了KinyaBERT-large,通过引入行、列和单元格类型的嵌入,以及学习到的表格结构注意力偏差。TabuLM利用了新的预训练目标——掩码单元格恢复(Masked Cell Recovery)和列类型预测(Column Type Prediction),并在一个名为TabQA-kin的新卢旺达语表格问答基…
-
研究发现:提示词压缩在非英语语言上表现不佳
一篇新发表在arXiv上的研究论文《Lost in Compression: A Controlled Cross-Lingual Audit of Extractive Prompt Compressors》调查了提示词压缩技术在不同语言上的有效性。研究发现,虽然提示词压缩可以降低LLM的推理成本,但其在非英语语言上的性能会显著下降,从而扩大了代币溢价差距。仅在英语数据上训练的压缩器表现出这种跨语言性能差距,而一个多语言训练的压缩器…
-
TabuLM:首个在卢旺达语表格数据上预训练的语言模型
研究人员开发了TabuLM,一个专门为卢旺达语(一种在卢旺达使用的低资源班图语)表格数据预训练的新型语言模型。该模型通过针对表格结构设计的新嵌入和注意力机制增强了KinyaBERT-large。TabuLM使用掩码单元恢复和列类型预测目标,在卢旺达政府表格上进行了训练,并引入了TabQA-kin,一个用于卢旺达语表格问答的新基准,TabuLM在该基准上显著优于现有的多语言模型。
-
Hugging Face 模型选择框架发布,平台模型数量达 200 万
本文提供了一个从 Hugging Face 选择和微调模型的框架,该平台现已托管超过 200 万个模型。它指导用户完成决策过程,提供超越标准文档的见解。该框架旨在帮助用户驾驭海量可用模型,包括 Bert、GPT-2、Roberta、XLM-RoBERTa 和 T5 等流行架构。
-
孟加拉语稀疏少样本语言模型实现 90% 的稀疏度
研究人员开发了 BnBERT-iPET,这是一种专门针对孟加拉语的稀疏少样本语言建模的新方法。该方法利用彩票 टिकट 修剪实现 90% 的稀疏度,显著降低了计算需求和内存占用。在孟加拉语下游任务上,该修剪后的模型在性能上可与 Bangla Electra 和 Indic-BERT 等大型最先进模型相媲美。
-
OpenAI的隐私过滤器在PII检测研究中表现好坏参半
一项新的研究论文首次系统性地评估了OpenAI的隐私过滤器(OPF),这是一个拥有15亿参数的PII检测器。研究发现,OPF在电子邮件和电话号码等结构化PII类型上表现良好,在某些基准测试中优于其他工具。然而,当PII嵌入叙述性文本或使用非拉丁字符时,其有效性会显著下降,并且在医疗和法律信息等敏感数据上存在召回偏差。