PulseAugur
中
实时 20:56:04
实体 Recall@1

Recall@1

PulseAugur coverage of Recall@1 — every cluster mentioning Recall@1 across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
3
90 天内 7
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 7
层级分布 · 90 天
主题
情绪 · 30 天

2 天有情绪数据

最近 · 第 1/1 页 · 共 7 条
  1. RESEARCH · CL_344556 ·

    新的Blueprint2CAD基准测试,用于检验AI匹配工程图纸到CAD渲染的能力

    研究人员推出了Blueprint2CAD,这是一个新的基准测试,旨在评估基础模型将工程图纸与其对应的CAD渲染匹配的程度。该基准测试由源自Zero-to-CAD模型的BlueCAD-30K数据集支持,专注于从不同视觉表示中识别相同部件的挑战。初步测试表明,当视角已知时,冻结的编码器可以达到高达65%的Recall@1,但在视角未知时,性能下降到43%,这表明视角是主要的瓶颈,而不是模型的骨干。视觉语言模型也显示出有限的准确性和持续的偏…

  2. TOOL · CL_324262 ·

    研究发现:大型语言模型诊断AI性能因数据泄露而虚高

    一篇新近发表在arXiv上的研究论文详细阐述了评估产物和数据泄露如何显著夸大了用于罕见病诊断的大型语言模型(LLM)系统的报告性能。研究人员发现,在强制执行严格的跨数据集隔离后,这些系统的性能显著下降,Recall@1从54.3%降至40.3%。该研究还强调了大型语言模型如何利用知识库中的回顾性治疗线索和时间错位,导致诊断不准确。作者提出了一个更严格的评估框架,以确保未来诊断AI的真正临床稳健性。

  3. RESEARCH · CL_312371 ·

    LLM驱动的演进式搜索增强了生成式检索系统

    研究人员开发了一个新颖的框架,利用LLM驱动的演进式程序搜索来增强生成式检索(GR)系统。该方法解决了优化语义标识符(SID)的离散、相互依赖组件的挑战,这些组件不易通过梯度进行微调。通过使用一个31B模型进行组件变异,以及一个1M参数的代理解码器进行快速反馈,该系统在基准数据集上显著提高了检索性能。

  4. TOOL · CL_259146 ·

    新AI框架HPOQuest助力罕见病诊断

    研究人员开发了HPOQuest,一个旨在通过主动获取患者表型来辅助罕见病诊断的新型框架。该系统无需训练,从有限的观察症状集开始,并为临床医生迭代选择信息量最大的后续问题。通过更新已确认表型的疾病排名并根据响应优化问题集,HPOQuest在基准队列中已显示出诊断准确性的显著提高,在Recall@1上的准确率提高了高达30个百分点,在Recall@5上的准确率提高了45个百分点。该框架突出了顺序表型获取在从稀疏的初始临床数据中增强罕见病诊断的潜力。

  5. TOOL · CL_259128 ·

    新基准改进了从临床文本中推荐SNOMED CT概念

    研究人员开发了一个新的基准,用于从掩码临床上下文中推荐SNOMED CT概念,旨在提高临床语言的标准化和互操作性。该研究使用了源自MIMIC-IV-Note的SNOMED CT实体链接挑战v1.2.1数据集,并测试了各种推荐方法。稀疏TF-IDF被证明是最有效的方法,实现了14.81%的Recall@1和33.43%的Recall@10。研究结果强调,概念频率和局部词汇上下文的覆盖范围对推荐质量有显著影响,尤其是在低资源场景下。

  6. TOOL · CL_257977 ·

    基于图的潜在检索框架提高了后缀预测精度

    研究人员开发了一种新颖的基于图的度量学习框架,用于顺序决策场景中的完整后缀预测。该方法将问题重新表述为过程图上的潜在检索,利用边条件图神经网络来模拟事件级活动和转换持续时间。在真实过程数据集上的实验表明,与现有方法相比,在语义后缀精度、检索质量和时间合理性方面都有显著提高。

  7. RESEARCH · CL_191175 ·

    因子化假设搜索改进了证据到分类法的检索

    研究人员开发了因子化假设搜索(FHS),这是一种改进证据到分类法检索的新方法,解决了间接证据未明确链接到目标概念的“检索就绪差距”。FHS通过在语义维度上维护多个部分解释来工作,从而实现结构化查询渲染和候选验证。与现有方法相比,该方法在金融分类标记和临床编码任务的Recall@1、MRR和准确性方面表现出优越的性能。