研究人员开发了一个新颖的高级文本预处理框架,旨在改进论述文本的语义相似性分析。该方法旨在减轻语义扩散,即通过讨论获得的词汇而非实质性一致性而导致相似性得分膨胀。该框架引入了12条规则,在标准的自然语言处理预处理之前,将文档的核心论点与其论述结构分离开来。在斯坦福哲学百科全书的哲学文本上进行的经验性演示表明,这种预处理通过一个称为语义扩散指数(SDI)的新指标衡量,降低了相似性得分并提高了跨模型的一致性。 AI
影响 这项研究可以提高分析复杂文本的AI模型的准确性,从而改进法律、政策和学术领域的应用。
排序理由 这是一篇研究论文,详细介绍了一个新的文本预处理框架和经验性演示。[lever_c_demoted from research: ic=1 ai=1.0]
在 arXiv cs.IR (Information Retrieval) 阅读 →
- consequentialism
- deontology
- Mehmet Murat Albayrakoglu
- Stanford Encyclopedia of Philosophy
- transformer
- virtue ethics
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →