Michael Christlambert Sinanta

新框架使用人类策划的词汇进行低资源语言文本生成

研究人员开发了一个新框架，用于为低资源语言生成文本，即使是那些在大型语言模型（LLM）预训练数据中不存在的语言。该方法结合了人类策划的词汇、少量人类编写的示例和句法信号。该系统根据齐夫分布（Zipfian distribution）对候选词进行采样，使LLM能够生成连贯的文本。通过词汇多样性、偏离目标率和人类判断进行的评估表明，该方法可以生成流畅的句子和有前景的段落级文本，为数字资源有限的语言提供了一种生成合成数据的实用方法。