一篇新研究论文探讨了平衡k-shot采样在LLM嵌入少样本评估协议中的影响。研究表明,这种采样方法在核化线性主成分判别分析(KLPCDA)这一监督降维技术家族中会诱导精确退化。这种退化可能导致准确性发生显著变化,尤其是在使用该方法的截断变体时,并且观察到其影响随BLAS线程数量的变化而变化。研究提出了一个正则化公式,其性能优于标准截断,尤其是在E5-Mistral等基于解码器的嵌入模型上,并建议增加每类的样本数量可以显著缩小不同嵌入模型类型之间的性能差距。 AI
影响 识别出LLM嵌入标准少样本评估协议中的一个关键缺陷,可能影响基准测试的可靠性和模型比较。
排序理由 该集群包含一篇学术论文,详细介绍了关于LLM嵌入和评估协议的新发现。[lever_c_demoted from research: ic=1 ai=1.0]
- arXiv
- BLAS
- E5-Mistral
- Hugging Face
- Kernelized Linear Principal Component Discriminant Analysis
- KLPCDA
- LDA
- Lingxiao Qu
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →