Text Dataset Cleaner

新的文本数据集清理工具使用 Gemma 进行语言数据清理

一款名为 Text Dataset Cleaner 的新开源 Web 应用程序已被开发出来，旨在帮助用户清理混乱的文本数据，特别是针对泰米尔语和英语。该工具可在用户本地计算机上运行，支持各种文件格式，并提供自动化清理和逐行审查功能。它采用双引擎方法，其中基于规则的引擎处理单词边界，而 Gemma 语言模型则用于拼写校正，确保模型输出不会改变已建立的单词分隔。