PulseAugur
中
实时 15:08:59
English(EN) Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs

生物医学API的Unicode保真度不一致，影响LLM训练数据

作者 PulseAugur 编辑部 · [1 个来源] ·

最近对四个主要的生物医学文献API——PubMed E-utilities、Crossref、OpenAlex和Semantic Scholar——进行的审计显示，它们处理Unicode字符的方式存在显著不一致。研究发现，PubMed AbstractText字段经常未能保留印刷标点符号，而OpenAlex系统性地丢失了特殊空白字符。虽然数学符号和希腊字母通常得以保留，但这些字符级别的保真度问题直接影响文本挖掘、文献计量学以及生物医学大型语言模型训练语料库的构建。 AI

影响 生物医学API中不一致的数据保真度可能会损害专业LLM训练数据的质量和可靠性，从而影响它们在科学文本分析中的性能。

排序理由 该集群包含一篇研究论文，详细介绍了对文献API数据保真度的审计。[lever_c_demoted from research: ic=1 ai=1.0]

在 arXiv cs.CL 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

生物医学API的Unicode保真度不一致，影响LLM训练数据

报道来源 [1]

  1. arXiv cs.CL TIER_1 English(EN) · Przemys{\l}aw Czuma ·

    Invisible to humans, visible to machines: a preregistered audit of Unicode fidelity across four biomedical bibliographic APIs

    arXiv:2606.24897v1 Announce Type: cross Abstract: Biomedical text mining, scientometrics, and the construction of training corpora for biomedical large language models (LLMs) all assume that the abstract text returned by a bibliographic API faithfully reproduces the published abs…

相关实体

相关话题