研究人员开发了新的文档级机器翻译(DocMT)方法,以克服当前LLM的局限性,即使是具有大上下文窗口的模型。一种方法是固定范围分块(FRC),它使用动态规划将文档分割成特定长度间隔内的块,确保训练和推理之间的一致长度分布以减少不匹配。另一种策略由LectuLibre采用,涉及结构感知分块,该分块尊重文档组织(章节、段落)并在块之间包含重叠以实现连续性。该方法还维护一个运行的术语表,以确保整个翻译过程中术语的一致性。 AI
影响 这些分块策略旨在提高基于LLM的文档翻译的质量和一致性,使其更适合书籍翻译等大规模任务。
排序理由 该集群描述了新的研究论文和实际应用,详细介绍了使用LLM进行文档级机器翻译的新方法。
- BeautifulSoup4
- Claude
- EbookLib
- EPUB
- GPT-4 Turbo
- LectuLibre
- Python
- tiktoken
- Doc2FRC
- DocMT
- Fixed-Range Chunking
- GlobVDoc
- IWSLT2017
- LLMs
AI 生成摘要 · Google Gemini · 来自 2 个来源。 我们如何撰写摘要 →