RoCo-ACE

新的RoCo-ACE技术改进了LLM知识注入，同时保留了能力

研究人员开发了RoCo-ACE，一种用于大型语言模型的新型知识注入技术，旨在提高准确性而不牺牲现有能力。该方法使用对比学习方法来更好地监督模型生成的文本，特别是通过重新分配蒸馏权重给参考支持的token。此外，RoCo-ACE包含一个用于纠正模型输出中遗漏事实的机制，在保持各种基准测试的高保留率的同时，实现了卓越的注入知识准确性。