Arabic
PulseAugur coverage of Arabic — every cluster mentioning Arabic across labs, papers, and developer communities, ranked by signal.
- instance of Modern Standard Arabic 90%
- used by Connectionist temporal classification 90%
- used by Marbert 90%
- instance of Mohamed Bayan Kmainasi 90%
- instance of Araberta 90%
- developed Russian 90%
- instance of English 70%
- used by English 70%
- instance of Standard Chinese 70%
- instance of Hindi 70%
- developed large-language models 70%
- used by large-language models 70%
11 天有情绪数据
-
健康聊天机器人 Saluvo 采用关键词和模型检查分层以检测紧急情况
一款名为 Saluvo 的健康聊天机器人,旨在为 80 多种语言的用户提供帮助,它采用了一个多层安全系统来检测紧急情况。第一层使用预模型关键词检查,针对各种语言(包括 Hinglish)中的良性短语、否定和字符规范化制定了特定规则。然而,该系统被证明不足,在 45 个紧急情况测试用例中遗漏了 36 个。为解决此问题,实施了第二层,利用一个小型、快速的模型来分析任何语言的用户输入,并返回结构化 JSON,指示危险级别、原因和原始语言。
-
Jev 系统在阿拉伯语任务上与 LLM 的性能评估
一篇新的研究论文评估了 Jev 系统的性能,将其与各种决策模型和大型语言模型 (LLM) 在阿拉伯语任务上进行了比较。该研究在零样本协议下测试了包括 Jev 1.14.0 和 1.13.0、Gemma 4.31B 以及 Jais-2-8B 在内的 67 个系统,涵盖了 43 项任务。Jev 1.14.0 的平均得分为 69.24,略高于 Jev 1.13.0 的 68.77,但低于 Gemma 4.31B 的最高分 71.81。研究还…
-
Otter.ai 将多语言转录扩展至 31 种语言
Otter.ai 是一家由人工智能驱动的笔记服务公司,已显著扩展了其多语言转录功能。该公司正在推出一项新功能,即使在会议中发言者切换语言,也能跟踪对话,总共支持多达 31 种语言。目前已有 13 种语言可用,其余语言将很快推出。这些新的语言模型由 Otter.ai 内部开发,并得到了近期 3.2 亿美元融资的支持。
-
新的音译模型旨在简化混合脚本输入
开发人员创建了 UnimeType,一种新的输入法和浏览器转换器,以应对混合脚本输入的挑战。他们基于 Qwen/Qwen3.5 训练了两个专门的音译模型 Transliteration 2.0(0.8B 和 4B)。这些模型专为快速本地推理而设计,可在中文、日文、印地文、阿拉伯文和俄文等语言的句子中保留英文单词和代码标识符,这与翻译整个短语的通用 LLM 不同。
-
新的ATHAAR数据集旨在识别手写阿拉伯手稿
研究人员推出ATHAAR,一个旨在改进中世纪阿拉伯科学手稿手写文本识别的新数据集。目前的视觉语言模型在处理这些文本时面临困难,因为其连字复杂、标音符号不一致且训练数据稀缺。ATHAAR通过提供基于文本批判指南的手动注释转录本,涵盖文本见证、书法和内容(包括数字)的变体,来解决这一问题。使用最先进模型的实验揭示了这些系统在遇到古代科学文本的独特特征时存在的显著局限性。
-
新数据集AraEngage分析阿拉伯语Facebook新闻参与度
研究人员开发了AraEngage,一个包含10,000条阿拉伯语Facebook新闻帖子的数据集,用于分析与用户参与度相关的语言特征。研究发现,宗教表达、消息长度、句子长度和词汇密度是参与度的关键指标,积极情绪也与更高的互动相关。研究强调了由于同形异义词和模糊术语,将标准语言特征应用于未加元音的阿拉伯语所带来的挑战,这可能导致测量误差。
-
发布新的阿拉伯语焦虑话语基准,并对Fanar-C-2-27B进行评估
研究人员开发了一个新的阿拉伯语焦虑相关话语分析基准,包含1000条标注的Twitter/X帖子。该基准通过严格的标注过程创建,涉及阿拉伯语母语者,最终的共识参考达到了60.5%的一致性。模型Fanar-C-2-27B在该基准上进行了评估,准确率达到79.8%,宏F1分数达到0.784。研究还强调了数据集中社会政治焦虑比个人情感表达更普遍。
-
新框架利用合成数据为低资源脚本构建OCR
研究人员开发了一个新颖的数据中心框架,能够在没有手动标注文档图像的情况下为低资源脚本构建光学字符识别(OCR)系统。该系统利用未标注的文本语料库和数字字体生成合成训练数据,保留了特定脚本的视觉结构。该方法成功应用于克什米尔语(一种波斯-阿拉伯纳斯塔利克字体),在保留词上实现了0.39%的字符错误率,并在包括历史文献在内的各种文档类型上创下了新的参考结果。
-
评估LLMs在英语-阿拉伯语方言翻译质量方面的表现
一篇新的研究论文评估了各种大语言模型(LLMs)在英语与16种不同阿拉伯语方言之间翻译的性能。该研究使用了MADAR数据集,并采用了BLEU、CHRF、COMET和GEMBA等多种指标来评估翻译质量。研究结果表明,尽管LLMs显示出潜力,但它们在处理阿拉伯语方言的多样性方面存在困难,并且潜在的训练数据污染仍然是一个令人担忧的问题。
-
新的以阿拉伯语为中心的语音匿名化模型 EZ-Ar-VC 展示了跨方言的通用性
研究人员开发了 EZ-Ar-VC,这是一种专门为阿拉伯语语音匿名化设计的语音转换模型。现有的模型主要基于英语训练,难以处理阿拉伯语独特的语音学和方言。基于 EZ-VC 架构的 EZ-Ar-VC 模型在可懂度、自然度和说话人差异性方面表现出改进。该模型在处理语码转换和跨不同阿拉伯语方言(即使是训练数据代表性有限的方言)的通用性方面也表现出鲁棒性。
-
新的GigaSpeech 3语料库提升阿拉伯语方言语音识别能力
研究人员发布了GigaSpeech 3,这是一个旨在改进方言阿拉伯语语音识别能力的大规模语料库。该语料库包含39,000小时的弱标注语音,涵盖阿尔及利亚、埃及、伊拉克、沙特和叙利亚五种方言。通过利用自监督学习和噪声学生精炼技术,该项目显著降低了词错误率,相较于现有系统,特定方言模型达到了23.86%的宏平均错误率,而支持现代标准阿拉伯语的多方言模型达到了25.51%。该语料库及相关方法将被公开,以促进对方言感知阿拉伯语语音处理的进一步研究。
-
新数据集PlagiaCorpus旨在检测LLM生成的抄袭
研究人员推出PlagiaCorpus,这是一个新的双语数据集,旨在检测抄袭和文本重用,包括由大型语言模型(LLM)生成的内容和跨语言内容。该数据集包含近20万条文本记录,其中包含来自维基百科和书籍收藏的源文本段落,以及按难度分类的查询文本段落。PlagiaCorpus以JSON和Parquet格式提供,采用知识共享许可,并托管在Hugging Face等平台上。
-
新基准揭示开放语言模型广泛捏造伊斯兰经文
一项名为BILAL-BENCH的新基准已被开发出来,用于评估开源语言模型捏造伊斯兰经文的能力,特别是在孟加拉语中。该基准包含240个涵盖《古兰经》经文、圣训和伊斯兰教法的问题,并经过专家验证。在对七种不同开放权重模型的1680个响应进行测试时,其中六种模型对79.3%至95.3%的问题自信地捏造了伊斯兰来源,模型大小没有带来明显改善。圣训出处被确定为所有评估模型的一个特别薄弱环节。
-
新的 MuSTEL 数据集以 1450 万条合成文本行提升多语言 OCR 能力
研究人员推出了 MuSTEL,这是一个大规模合成数据集,旨在改进光学字符识别 (OCR) 系统,特别是在多语言文本行方面。该数据集包含超过 1450 万张带注释的文本行图像,融合了混合书写方向、单行内字体和样式多样性以及包括模糊和失真在内的逼真文档外观等多种元素。MuSTEL 旨在提高波斯语、阿拉伯语和英语等语言 OCR 模型的训练和评估能力,以应对其独特的排版和渲染条件带来的挑战。
-
双语检索研究强调阿联酋 GovTrust 中的范围推理失败
一项新发表在 arXiv 上的研究探讨了在公共服务背景下进行双语信息检索的挑战,特别是在阿联酋 GovTrust 诊断数据集中。该研究评估了十二种在英语和阿拉伯语中检索相关信息的方法,发现基于角色过滤的倒数排名融合显著提高了可回答查询的准确性。然而,该研究也突出了范围推理中的关键失败,即路由器即使拥有准确的范围元数据,也难以正确识别预期的服务或操作。
-
新的元学习框架提高了代码转换语音识别的准确性
研究人员开发了 SyRA-CS,一个新颖的元学习框架,旨在提高代码转换语音的自动语音识别(ASR)能力。该方法使用合成的代码转换数据进行元训练,然后用少量真实语音数据进行微调。在多个语言对和 ASR 架构上的实验表明,与现有方法相比,词错误率(WER)和字符错误率(CER)显著降低。
-
研究发现:人工智能安全系统因关注词语而非意图而失败
一篇新的arXiv论文认为,人工智能模型的自动化安全系统常常失败,因为它们关注的是词汇内容,而不是信息的实际行为或意图。研究强调了这些系统如何不成比例地标记非洲裔美国人英语和阿拉伯语等语言的内容,同时未能准确评估低资源语言中的危害。作者提出了一个新的评估协议,以更好地衡量这些差异,并证明包括多语言防护模型在内的当前系统,在区分不同语言中有害行为和无害形式方面,未能达到母语者的准确性。
-
新阿拉伯语依存句法树库揭示方言句法分歧 · 跟踪到1个来源
研究人员开发了MADARTB,这是首个大规模阿拉伯语并行依存句法树库,涵盖五个城市方言(贝鲁特、开罗、多哈、拉巴特和突尼斯)以及现代标准阿拉伯语。该数据集包含5000个句子,使用CATiB依存方案进行标注,揭示了尽管整体结构相似,但方言之间存在显著的句法差异。使用监督解析器和四个LLM进行的比较显示,监督解析器在测试集上达到了87.5%的LAS,而表现最好的LLM达到了85.7%的LAS。这些标注和模型正在公开发布。
-
新基准测试阿拉伯方言中的AI数学推理能力
研究人员推出了DAR-MGSM,这是首个旨在评估方言阿拉伯语数学推理能力的基准。该基准包含五种主要阿拉伯方言和现代标准阿拉伯语的数学应用题,并提供仅翻译版和翻译并本地化版。对十一个以阿拉伯语为中心的多语言大型语言模型的评估显示,在本地化版本上的性能普遍下降,表明在文化接地适应方面存在挑战。进一步分析表明,即使整体准确性相似,本地化问题和翻译问题也常常触发不同的推理路径,这凸显了语言多样性和文化背景对数学推理的影响。
-
Apify Actor 将混乱的 HTML 转换为干净的 Markdown,用于 RAG 流水线
一位开发者创建了一个 Apify Actor,旨在将网页转换为干净的 Markdown 格式,专门用于检索增强生成 (RAG) 流水线。该工具能有效去除 cookie 横幅和 JavaScript 等无关元素,将大型 HTML 文件精简为简洁的 Markdown。该 Actor 已成功处理了英语和阿拉伯语内容,包括一篇关于人工智能的复杂阿拉伯语维基百科文章,定价按页计算。