Computer vision and pattern recognition
PulseAugur coverage of Computer vision and pattern recognition — every cluster mentioning Computer vision and pattern recognition across labs, papers, and developer communities, ranked by signal.
- used by Diffusion Models 90%
- instance of Vision--Language Models 90%
- instance of CatalyzeX Code Finder for Papers 70%
- instance of Influence Flower 70%
- instance of arXivLabs 70%
- instance of cs.CV 70%
- used by Vision--Language Models 70%
- instance of Diffusion Models 70%
- instance of RGB color model 70%
- authored Bibliographic Explorer 70%
- authored arXivLabs 60%
- used by RGB color model 60%
10 天有情绪数据
-
新研究发现,深度立体视觉模型在形状先验方面存在困难
一篇新的研究论文探讨了深度立体视觉模型是否能有效学习形状先验。研究发现,即使经过微调,当前最先进的模型在局部图像和视差线索较弱时,也会表现出系统性的边界错误。为了解决这个问题,研究引入了一个生成式立体模型,该模型联合预测视差和物体边界的距离场,从而提高了边界定位精度,并更贴近形状空间。这项研究突显了现有立体架构的局限性,并表明生成式模型可能更好地将区域分组与全局几何结构结合起来。
-
Infer3D框架使用生成模型实现鲁棒的三维重建
研究人员开发了Infer3D,一个利用逆向生成模型进行三维重建的新框架。与传统的前馈神经网络不同,Infer3D采用受人类视觉启发的自顶向下生成推理策略,以提高重建精度,尤其是在分布外场景中。该系统将生成图像先验与冻结的3D提升网络相结合,以约束优化空间,在合成和现实世界任务中表现出卓越的性能。
-
新方法利用图像角点校准未校准相机
研究人员开发了一种通过分析图像中的直角转角来理解未校准相机内部参数的方法。该方法利用凸集来表示每个角点连接处的可能相机配置。当仅焦距未知时,这些集合会形成一个闭式区间,从而可以通过具有多个连接点的凸可行性问题进行校准。该方法还提供了焦距的认证边界,即使在边缘方向测量存在有界误差的情况下也是如此。
-
新算法从矢量场重建生物薄片结构
研究人员开发了一种新颖的数学模型和算法,用于从矢量场推断底层的薄片结构,其灵感来源于大脑白质束和心肌细胞排列等自然形成。该方法估计一个最小化平均曲率的邻接矢量场,旨在通过创建平滑、局部定向的表面来优化功能。该方法已在合成数据和生物学示例中成功演示,包括对心壁组织中心肌细胞方向的详细重建,并可能应用于医学成像。
-
Transformer网络增强水下图像并估计深度
研究人员开发了Joint-ID,一种新颖的基于Transformer的神经网络,用于水下图像增强和深度估计。该方法使用多模态目标函数来解决图像退化、清晰度不足和无效深度数据的问题。该系统经过端到端训练,并在合成、标准和真实世界的水下数据集上证明了其有效性,显示出在海洋学和水下机器人领域的应用潜力。
-
新技术推动手语检索和生成技术发展
两篇新研究论文探讨了手语处理的先进方法。第一篇论文研究了在美国手语(ASL)上训练的姿态编码器在各种语言的低资源词汇设置下检索手语的有效性,单次检索准确率最高可达68.0%。第二篇论文介绍了SemRAG,一个语义引导的检索增强框架,用于手语生成,它使用全句手语模板来提高生成手语姿态序列的语义一致性和运动质量。
-
针对图像集合计数优化的人类-AI协作方法
一项新的研究论文探讨了如何优化人类-AI协作,以对大型图像集合中的物体进行计数。该研究涵盖了包括生物医学显微镜和野生动物调查在内的12项不同任务,发现虽然多模态模型在无需训练的情况下可以提供一个良好的起点,但经过微调的检测器在更大的标注预算下会更有效。与均匀采样相比,根据模型预测优先审查哪些图像可以显著提高估计效率。研究还表明,可以使用一个小型的试点集来估计模型的排名质量,为选择新的计数任务的最佳策略提供了实用指导。
-
新方法提高了手术动作中心定位的准确性
研究人员开发了一种新的手术动作中心定位方法,提高了识别手术视频关键点的准确性。该技术结合了热图和坐标监督以及逻辑回归评分器,可在指定容差内识别正确预测。内部评估表明,与基线方法相比,这种选择性定位管道保留了更多正确的输出,特别是通过减少对准确预测的拒绝。
-
AI绘制130万张病理图像的人口统计数据
研究人员开发了一种从常规临床组织病理学图像中绘制人口统计信息的方法。通过分析来自250,000多名患者、跨越25个器官的130万张全切片图像,他们利用病理学基础模型和多实例学习来识别与性别、年龄组和自我报告种族相关的信号。研究发现,人口统计学特征在不同器官中普遍可恢复,性别、年龄组和种族的AUROC平均值分别为0.828、0.733和0.662。这些发现为组织病理学中的人口统计信息提供了全面的图谱,有助于理解其来源和开发更具可解释性的…
-
新框架支持来自多个移动摄像机的视频拼接
研究人员开发了MViS,一种用于对齐多个移动摄像机捕获的视频的新颖框架。该方法利用受空间变换器启发的网络,在时间窗口内联合处理所有视角的帧,预测每视角、每时间的单应性,以实现无缝集成。MViS能够处理复杂、随时间变化的摄像机布局和快速运动,而无需进行特定场景的调整,并且它通过配套的数据集为多摄像机视频对齐树立了新的标杆。
-
研究颜色在遮挡情况下的物体识别作用
一篇新研究论文探讨了在物体部分被遮挡时,颜色如何影响人类和计算机视觉系统中的物体识别。研究发现,虽然伪装遮挡会负面影响人类识别和Transformer模型,但传统的CNN模型在具有上下文相关性的颜色下表现更好,这表明它们利用颜色进行识别,而不是被颜色干扰。该研究还引入了非遮挡精度和召回率等新指标来解释模型在遮挡下的行为,并证明了使用伪装遮挡物进行训练增强可以提高CNN的鲁棒性。
-
新的AI方法增强了从稀疏二维图像数据进行三维重建
研究人员开发了从有限的二维图像数据改进三维重建的新方法,特别是在传统密集扫描不可行的场景中。一种方法利用了姿态感知扩散先验,从单个二维投影中学习以指导重建和抑制伪影。另一种方法采用置信门控扩散适应,通过抑制浮动伪影并确保跨视图的几何一致性,专门解决稀疏视图室外三维重建中的挑战。
-
以自我为中心的网球数据训练的视觉模型可预测球员和球的运动
研究人员开发了一种新方法,使敏捷机器人能够使用以自我为中心的视觉来感知和预测动态体育动作。他们创建了一个包含同步视频、球员位置和击球注释的网球数据集,用于训练和评估各种视觉模型。最佳模型在定位球员和球、预测轨迹以及预测击球类型方面取得了显著的准确性,辅助深度信息被证明对 3D 球体定位有益。
-
综述文章详述视频大语言模型加速方法
一篇新发布的arXiv论文详细介绍了加速视频大语言模型(VLMs)推理的方法。该论文根据推理流程中的干预点对技术进行分类,包括输入处理、视觉编码、投影仪、预填充和解码阶段。它还将训练后量化(PTQ)作为一种跨阶段方法进行讨论,并分析了计算节省与时空证据保留之间的权衡。
-
新的无监督框架使用适应性视觉模型检测视网膜异常
研究人员开发了一种新颖的无监督框架,用于检测和定位视网膜光学相干断层扫描(OCT)图像中的异常。该方法通过适应预训练的视觉基础模型来学习正常的视网膜解剖结构,并结合了面向解剖结构的重建和带有合成扰动的对比三元组学习。该方法旨在识别罕见或未见的异常,而无需依赖预定义的疾病类别,证明了将表示适应正常解剖结构可以提高异常检测的敏感性。
-
新的MERA张量网络方法增强了OCT图像处理和疾病诊断
研究人员开发了一种新颖的方法,使用低秩多尺度纠缠重整化ansatz (MERA) 张量网络来处理三维光学相干断层扫描 (OCT) 图像体。该方法能够进行联合压缩、去噪和特征提取,而无需训练,因此适用于对每个OCT体进行独立处理。与现有方法相比,该框架在视觉质量和分割误差方面均有所改善,并且其提取的特征在视网膜疾病分类中显示出具有竞争力的准确性,尤其是在深度学习方法通常难以应对的小样本临床场景中。
-
CompMVR框架使用扩散模型从压缩图像进行三维重建
研究人员推出了一种新颖的框架CompMVR,旨在解决从压缩多视角图像进行三维重建的挑战。该方法专门针对压缩伪影引起的几何不一致性,这些不一致性可能破坏特征匹配和相机参数估计。CompMVR利用扩散模型来优化压缩视图,同时保持跨视图一致性,从而提高视觉细节和几何重建的可靠性。
-
新的 PC-DAPS 方法改进了逆问题的扩散模型采样
研究人员推出了一种新颖的扩散模型采样技术——先验一致性 DAPS (PC-DAPS),旨在改进模糊非线性逆问题的重建。与依赖局部近似并可能偏向先验不一致解的现有方法不同,PC-DAPS 在单次采样运行中维护和修剪多个候选解。这种方法在无需地面真实数据的情况下提高了非线性问题的样本质量和多样性,同时在保持线性逆问题性能方面也表现出色。
-
MixPT 引入交错注意力,实现高效的 3D 点云处理
研究人员开发了 MixPT,这是一种新颖的点 Transformer,旨在高效处理 3D 数据。MixPT 以交错方式结合了窗口注意力和全局注意力机制,以平衡计算成本与全场景交互的需求。这种方法可以捕捉详细的局部几何形状和场景中的关系,在室内和室外基准测试中,其准确性和延迟性均优于现有的窗口和全局注意力基线。
-
新调查勾勒长文档视觉问答图景
一篇新近发表在arXiv上的调查论文,对长文档视觉问答(VQA)进行了以任务为中心的分解。它将该领域分为文档解析、证据组织与检索、生成器组织与学习以及评估。该论文追溯了研究重点的演变,从多模态内容理解转向获取和管理高保真证据的关注,并提出了可验证理解和持续文档理解等领域未来的研究方向。