研究人员推出了 CzechTopic，这是一个专为历史捷克语文档中的零样本主题定位设计的新基准。该基准包含人工标注的主题和相应的文本跨度，并包含考虑人类一致性的评估指标。初步评估显示，大型语言模型在性能上存在显著差异，一些模型在主题检测方面接近人类水平，但在精确的跨度定位方面遇到困难。较小的、经过蒸馏的令牌嵌入模型也表现出具有竞争力的性能。 AI
影响 该基准可以推动历史文献分析和大型语言模型零样本学习能力的研究。
排序理由 该集群包含一篇详细介绍特定自然语言处理任务新基准的学术论文。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
完整方法见我们的编辑标准。
arXiv:2603.03884v2 Announce Type: replace-cross Abstract: Topic localization aims to identify spans of text that express a given topic defined by a name and description. To study this task, we introduce a human-annotated benchmark based on Czech historical documents, containing h…