Format Estimation Module

New LLM framework decouples task-solving from output formatting

研究人员开发了一个名为 Deco-G 的新解码框架，该框架将大型语言模型 (LLM) 的任务解决能力与其输出格式化要求分开。该框架使用一个单独的格式估计模块 (FEM) 来管理格式化，使 LLM 能够专注于解决问题。Deco-G 包含指令感知蒸馏、灵活的 trie 构建算法和 HMM 状态剪枝等创新，以确保格式合规性，同时提高数学推理和 LLM 作为裁判等任务的性能。