Spearman rho
PulseAugur coverage of Spearman rho — every cluster mentioning Spearman rho across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
LLM 智能体自动化 CT 重建研究，挑战基准有效性
研究人员开发了一种能够执行 CT 重建技术自主研究的 LLM 智能体，自动化了比较和调整各种方法的劳动密集型过程。该智能体被用于实现、调整和基准测试 26 种不同的重建技术。研究发现，基于理想化数据的排行榜无法准确预测在现实噪声条件下的性能，当引入噪声时，方法的排名发生了显著的倒置，证明了这一点。研究表明，基准测试应同时纳入广泛的现实因素，以认证 CT 重建方法的通用性。
-
人工智能知识系统获得双信号重要性框架
研究人员提出了一个新的人工智能知识系统框架，该框架区分了两种实体重要性：受众评估和结构权威。这种双信号方法旨在提供比单一评分方法更细致的理解，因为单一评分方法可能会掩盖重要的差异。该研究使用来自 IMDb、Wikidata 和 Wikipedia 的电影实体，发现这两种信号之间的相关性很弱，表明它们是非冗余的，并且应为面向任务的人工智能应用程序单独保留。
-
新的基准测试评估葡萄牙语文本嵌入模型，揭示性能差距
发布了两个新的基准测试 MTEB-PT 和 MTEB-PT（巴西葡萄牙语），专门用于评估葡萄牙语的文本嵌入模型。这些基准测试解决了现有评估中葡萄牙语代表性不足的问题，而现有评估通常依赖于翻译的数据集或多语言平均值。新的基准测试包含大量葡萄牙语原生任务，涵盖语义文本相似性、分类、检索和重新排序等多个类别。初步评估表明，模型性能高度依赖于任务，并且在多语言基准测试上的排名并不能可靠地预测葡萄牙语特定性能，这凸显了进行原生语言评估的必要性。
-
新的HistoRAG框架为历史研究调整RAG
研究人员开发了HistoRAG，一个专为历史研究设计的检索增强生成（RAG）新框架。该框架将检索与生成分离，纳入时间窗口以平衡信息源表示，并使用LLM作为裁判的评估方法来使相关性判断透明化。对1950-1979年《明镜周刊》文章的评估表明，HistoRAG解决了标准RAG的不足之处，例如词汇偏差和向量相似性与相关性之间的弱关联。