Approximate Pareto Optimality

新算法旨在用更少的模型实现大语言模型的个性化对齐

研究人员开发了PALM（Portfolio of Aligned LLMs，已对齐大语言模型组合）算法，旨在创建一个精简的大语言模型（LLM）集，能够有效平衡用户偏好中诸如有用性和无害性等相互竞争的目标。该方法使用结构化的权重向量网格和惰性搜索来识别一个小型组合，该组合能近似所有奖励权重下的最优性能，从而实现可扩展的个性化和高效的模型开发。另外一项研究引入了近似帕累托最优（APO）方法，通过对具有兼容更新的用户进行分组并协调相互竞争的…