Mehmet Murat Albayrakoglu

新框架改进了论述文本的语义相似性分析

研究人员开发了一个新颖的高级文本预处理框架，旨在改进论述文本的语义相似性分析。该方法旨在减轻语义扩散，即通过讨论获得的词汇而非实质性一致性而导致相似性得分膨胀。该框架引入了12条规则，在标准的自然语言处理预处理之前，将文档的核心论点与其论述结构分离开来。在斯坦福哲学百科全书的哲学文本上进行的经验性演示表明，这种预处理通过一个称为语义扩散指数（SDI）的新指标衡量，降低了相似性得分并提高了跨模型的一致性。