Marathi
PulseAugur coverage of Marathi — every cluster mentioning Marathi across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
研究发现:人工智能模型对印度语言征收“Token税”
一篇题为《2026年印度语Token税》的新研究论文,揭示了不同语言模型在处理印度语言与英语分词方面存在的显著差异。研究发现,GPT-4o和GPT-4等模型的tokenizer在处理奥里亚语和桑塔利语等语言的内容时需要更多的tokens,导致成本增加和效率降低。Sarvam-30B/105B是唯一一个在所有测试的印度语言中保持较低token计数的第三方tokenizer。
-
开发者在28分钟内为外卖骑手构建了拥有4000万参数的多语言AI
一位开发者创建了一个小型多语言语言模型,旨在协助外卖骑手,特别是在网络连接差或没有网络连接的地区。这个拥有4000万参数的模型在免费的Google Colab GPU上训练不到30分钟,支持英语、印地语、孟加拉语、马拉地语和泰米尔语。该项目已在Hugging Face上发布,探讨了边缘AI在特定运营任务中的可行性,证明并非所有AI应用都需要庞大且依赖云端的模型。
-
新方法提升马拉地语跨语言摘要能力
研究人员开发了一种面向马拉地语的跨语言生成式摘要新方法。通过结合马拉地语 MahaSum 语料库和 PMIndiaSum 数据集的数据,他们对 IndicTrans2 神经机器翻译模型进行了微调。与 IndicBART 和 mBART-50 等先前基线相比,该方法在 ROUGE、chrF 和 chrF++ 指标评估中显著提高了摘要性能。
-
研究发现:多语言大模型跨脚本实体匹配失败
一篇新发表在arXiv上的研究论文详细介绍了多语言语言模型在名称以不同脚本呈现时,在实体匹配方面遇到的困难。研究发现,像Qwen2.5-7B这样的模型在识别同一人物时,当其姓名以梵文(Devanagari script)而非拉丁字母(Latin script)书写时,准确率显著降低,尤其是在马拉地语(Marathi)和马拉雅拉姆语(Malayalam)的提示中。研究人员指出,尽管分词碎片化并非主因,但标量校准和模型中特定的中间层激活是…
-
LLM置信度信号在本地知识上退化,幻觉持续存在
研究人员调查了大型语言模型(LLM)在问题解决的不同时间阶段的置信度信号,区分了解决前“已知感”(FOK)和解决后“学习判断”(JOL)。他们的发现表明,虽然解决后置信度通常提供更好的认知对齐,但解决前置信度成本较低且显示出一定的校准性。研究还发现,置信度校准通过翻译在英语和马拉地语之间转移良好,但对于本地特有的马拉地语知识则显著退化,这表明仅靠语言转移不足以保证区域信息的准确性。此外,即使在生成幻觉响应时,LLM也倾向于保持高置信度…
-
Gharasathi 作为首个注重隐私的家庭 AI 正式推出
Gharasathi 是一款新推出的家庭 AI,旨在本地管理个人数据,如财务和照片,确保隐私。它在 Mac Studio 上运行推理,专注于透明的数据处理和基于证据的 AI 解释。该项目旨在整合财务信息和照片库,逐步淘汰 iCloud 和 Google Photos 等云服务。
-
新数据集量化了15种语言的AI能力迁移
引入了一个名为Multilingual GSM-Symbolic的新数据集,以更好地理解AI模型能力如何在不同语言之间迁移。该数据集包含15种语言的30,000个匹配的项目问答对,有助于量化影响这种迁移的关键因素,例如模型大小、语言资源可用性和推理能力。研究表明,模型大小和推理能力显著缩小了低资源语言和高资源语言之间的性能差距,其研究结果解释了大部分跨语言差异。
-
新的MMTClinic基准测试LLM在多语言临床时间序列数据上的表现
研究人员推出了MMTClinic,这是一个旨在评估大型语言模型(LLM)在临床时间序列数据上表现的新基准。该基准包含文本、医学影像和生理信号,涵盖五种语言(英语、印地语、孟加拉语、马拉地语和泰米尔语)的30,000个问答对。MMTClinic旨在评估LLM在关键临床任务上的能力,如死亡率预测、心率预测和SOFA评分估算,评估结果显示模型、语言和数据模态之间存在显著的性能差异。
-
新基准揭示大型语言模型在印度语言和翻译机制方面存在困难 · 跟踪3个来源
研究人员开发了VakyArth,这是一个新的基准,旨在评估大型语言模型(LLMs)在印地语、旁遮普语、泰米尔语和马拉雅拉姆语等印度语言中的语用能力。初步研究结果显示,在解释这些语言中通过上下文和文化习俗暗示的含义时,大型语言模型存在持续的失败,并且在不同语言和任务中的表现差异很大。此外,另一项独立研究对多语言大型语言模型中“潜在语言”的解释提出了质疑,认为当前的探测可能揭示了多语言处理的不同方面,而不是单一的内部通用语。另一篇论文提出…
-
使用 Llama 3.1 8B LoRA 和 IndicF5 改进马拉地语 TTS
一位开发者详细介绍了他们为马拉地语创建更自然文本转语音(TTS)系统的过程。该项目涉及清理和处理混乱的、代码转换的马拉地语文本,以训练本地 Llama 3.1 8B LoRA 模型。然后,开发者使用 IndicF5 从该模型合成语音,并在此过程中遇到并记录了问题。
-
新基准揭示大型语言模型中的跨语言偏见
一项名为INCLUDE的新基准已被开发出来,用于评估大型语言模型(LLMs)在各种印度语言中的社会文化偏见。目前,大型语言模型的安全对齐主要集中在英语上,这可能导致在多语言环境中使用这些模型时产生潜在危害。INCLUDE基准包含2,604个英语、印地语、孟加拉语、马拉地语、泰米尔语和混合英语(Hinglish)的提示,用于评估十个大型语言模型。结果表明,在开源模型中,孟加拉语表现出最高的平均偏见;而在开源模型中,英语偏见最低,但在闭源…
-
新研究探索用于大型语言模型的高级分词,提高效率和性能 · 已追踪 4 个来源
研究人员正在开发用于大型语言模型中文本分词的新方法,以提高效率和性能。一种名为 SuTRA 的方法侧重于形态丰富的语言(如印地语、马拉地语和古吉拉特语)的形态结构,减少了碎片化并改进了机器翻译。另一项开发 TokEval 提供了一套评估分词器的指标,超越了基本的压缩,评估了 UTF-8 完整性和数字对齐等属性,这些属性与下游任务性能相关。此外,一项试点研究探索了使用轻量级自回归模型自动完成分词器,以压缩字节级序列,在不牺牲质量的情况下…
-
LLM管道在马拉地语到英语翻译中保留文档结构
研究人员开发了一个新颖的框架,用于将政府文件从马拉地语翻译成英语,特别解决了保留文档结构和格式的挑战。该系统集成了布局感知OCR、基于坐标的文本提取和大型语言模型,以确保翻译后的文档保持其原始布局和层次结构元素。在真实的马拉地语政府PDF上进行的评估表明,与仅文本的翻译方法相比,这种方法显著提高了结构保留、翻译连贯性和术语一致性,旨在提高电子政务中的多语言可访问性。
-
发布新的马拉地语词性标注数据集和BERT模型
研究人员推出了L3Cube-MahaPOS,这是一个用于马拉地语词性(POS)标注的新数据集,解决了该语言标注资源稀缺的问题。该数据集包含32,000多句新闻文本中的手动标注句子,并与通用依存关系对齐。它被用于对六个模型家族进行基准测试,表现最好的系统达到了88.67%的词级别准确率和81.67%的宏F1分数。该数据集、标注指南和训练好的模型正在发布,以促进马拉地语自然语言处理的进一步研究。
-
新的 N-VSSM 模型在长篇叙事一致性方面超越 Claude Opus 4.5
研究人员开发了 NarrativeWorldBench,这是一个旨在评估大型语言模型 (LLM) 在长篇音频戏剧中保持叙事一致性能力的新基准。目前的尖端 LLM 在超过 200 集的叙事弧方面存在困难,情节节拍 F1 分数饱和在 0.8 左右。为解决此问题,他们引入了 N-VSSM,一个利用 Mamba-2 主干的叙事变分状态空间模型,该模型在各种周期中实现了至少 0.84 的情节节拍 F1 分数,并在与专业作者的合作研究中证明了比 …
-
新数据集AgriGov助力印度农民AI应用
研究人员开发了AgriGov,一个旨在改进印度农民AI工具的新多语言数据集。该数据集侧重于政府计划和福利政策,最初涵盖英语、印地语和马拉地语的50项计划。它通过自动化抓取和涉及Google Translate、MarianMT以及人工后期编辑的翻译流程创建,产生了约8,000个平行句子对。
-
新的马拉地语数据集BhashaSetu提高了低资源翻译质量
研究人员推出BhashaSetu,一个旨在改善马拉地语低资源机器翻译的新数据集。该数据集包含278万个句子对,涵盖多个领域,包括用于形态感知分析的词干和词形还原表示。实验表明,语料库级别的去重显著提高了翻译质量,突显了数据卫生对于形态丰富的语言的重要性。BhashaSetu数据集现已公开提供,以支持该领域的重现性研究。
-
LLMs通过调整流畅性来改进多语言语音纠错
研究人员开发了一种新方法,利用大型语言模型(LLMs)来纠正多语言语音转录中的不流畅之处。该流程首先识别不流畅的词元,然后利用这些信号对LLM进行微调,以将转录稿改写为流畅的文本。添加了一个对比学习目标来惩罚不流畅词元的再现,确保语法和含义得以保留。在印地语、孟加拉语和马拉地语进行的实验表明,与现有基线相比有显著改进,为语音驱动的NLP系统提供了实用的解决方案。