研究人员开发了Thunder-DeID+,这是一种专为韩语文本设计的新型去标识化模型。该模型解决了韩语黏着语结构带来的挑战,这种结构常常将个人身份信息(PII)与周围词语合并,使准确的跨度检测变得复杂。Thunder-DeID+包含一个精炼的三层PII分类法和一个边界感知的分词器,该分词器集成了N-gram和边界评分组件,以改进词元和PII跨度的对齐。该方法在去标识化准确性方面取得了显著改进,在各种模型规模下实现了0.87-0.88的W. Strict Typed F1分数,并显示出向法院判决以外更广泛敏感文档的有效迁移能力。 AI
影响 这项研究可能为处理敏感韩语文本数据带来更强大的隐私保护工具。
排序理由 该项目是一篇学术论文,详细介绍了一种新的去标识化模型和方法论。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- byte-pair encoding
- Hugging Face
- Korean
- n-gram
- personally identifiable information
- Thunder-DeID+
- W. Strict Typed F1-score
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →