BGE-large dense top-K retrieval

新框架揭示大语言模型内存不对称性

研究人员开发了一个新的诊断框架来分析大语言模型中的用户端内存，揭示个性化能力并非单一指标，而是涉及不同的维度：行为一致性、事实存在性和事实缺失性。他们的研究结果表明，不同的内存基底在不同维度上表现优异，参数化内存（gamma-LoRA）偏向风格，检索式方法（RAG）在事实缺失性方面表现出色。该研究还发现，在经过大量RLHF微调的模型中，参数化用户内存存在“对齐税”，并提出基底选择是一个问题分类任务而非校准任务。