FAB-Bench

新的FAB-Bench框架对半导体制造中的检索增强生成进行基准测试

研究人员开发了FAB-Bench，一个旨在半导体制造领域内自适应基准测试检索增强生成（RAG）系统的新框架。该框架通过定义六个关键诊断指标，解决了在复杂、专业领域评估RAG性能的挑战。FAB-Bench分析了从4K到32K token的上下文窗口中的RAG系统，识别出不同的上下文扩展行为，并指出注意力稀释是长上下文性能下降的原因。