Adaptive Numerical Injection

新框架ANI将LLM数值推理能力提升9.5个百分点

研究人员推出了一种名为自适应数值注入（ANI）的新型框架，旨在提高大型语言模型（LLMs）的数值推理能力。ANI通过根据语义上下文选择性地注入数值特征，解决了文本分词中数字碎片化以及数值嵌入的上下文无关性问题。这种混合方法使用上下文感知门控机制来保留名词标识符，同时增强定量操作数。评估表明，ANI在不影响通用语言基准测试的情况下，使MATH性能比基线模型提高了9.5个百分点。