COCO
PulseAugur coverage of COCO — every cluster mentioning COCO across labs, papers, and developer communities, ranked by signal.
- instance of Platonic Representation Hypothesis 90%
- used by Kingdom Hearts IV 80%
- used by Imagenet 1k 70%
- instance of Gotit.pub 70%
- used by ADE20K 70%
- instance of alphaXiv 70%
- instance of ScienceCast 70%
- instance of Imagenet 1k 70%
- used by Vision Transformers 70%
- instance of ADE20K 70%
- used by CatalyzeX 70%
- instance of CatalyzeX 70%
15 天有情绪数据
-
MLOps 演进:从 DevOps 到自主 AI 监控
这一系列文章探讨了 MLOps(在生产环境中管理机器学习模型的方法)的演进和应用。文章涵盖了从传统 DevOps 到 MLOps 的转变,强调了机器学习对专业基础设施和流程的需求。具体主题包括用于漂移检测和调试的自主 MLOps、使用 Claude 和 Azure DevOps 等工具进行 AI 辅助测试用例生成,以及生产环境中 AI 应用、LLM 和代理的全面监控策略。
-
新的WhereBits方法使用注意力比特进行无需标签的VLM视觉定位
研究人员开发了一种名为WhereBits的新型视觉语言模型(VLM)视觉定位方法,该方法不需要显式的边界框标注。该技术利用VLM内部的“看哪里”注意力模式,以比特为单位进行测量,以识别能够准确地定位查询对象的层。在COCO和RefCOCO等各种VLM和数据集上,WhereBits的表现与依赖标记数据的方法相当或更优,并且在未见过的模型家族和更高分辨率下也显示出有效性。
-
新的GGF方法通过对象引导学习增强视觉概念特征提取器
研究人员开发了引导组特征提取器(GGF),这是一种通过结合对象引导学习来增强块稀疏特征提取器的新颖方法。该方法使用对象注释来提高视觉概念内特征组的语义一致性和可解释性。与SLiCS和监督Vanilla BSF等现有方法相比,GGF在盲审中表现出优越的性能,取得了更高的语义一致性分数。该方法在对象捕获和定位方面也显示出优势,同时使用的参数更少,训练周期更短。
-
新研究挑战跨模态对齐理论,提出LightAlign方法
一篇新研究论文探讨了柏拉图表征假设,该假设认为在不同数据模态上训练的模型会收敛到共享表征。研究测试了自然图像、音频、胸部X光片和3D CT扫描之间的零配对对齐,仅在自然图像(COCO)上取得成功。研究发现,对齐需要定位一个模态共变的子空间,然后在此子空间内定向映射,其中医学成像由于共享方差分数较小而构成最大挑战。该论文引入了LightAlign方法,该方法使用少量图像-文本对来有效定位和定向此映射,在CT-RATE和RAD-Chest…
-
新的人工智能水印方法增强了伪造检测和鲁棒性
研究人员开发了两种新的生成式人工智能图像模型水印技术,旨在提高伪造检测和鲁棒性。Tripwire-WM 在一篇 arXiv 论文中详细介绍,它侧重于将图像语义嵌入到潜在噪声中,以检测和报告伪造,其性能优于 SemBind 等现有方法。另一篇 arXiv 论文介绍了 SpiderMark,这是一种结合了算法频域注入和基于学习的验证器的混合方法,可在各种变换下实现高准确性和鲁棒性,即使在未见过的提示下也是如此。
-
新研究探讨视觉语言模型进展与安全性
arXiv 上发表的多篇研究论文探讨了视觉语言模型 (VLM) 的进展。ViLFlow 引入了一种并行生成方法,以改进 VQA 和图像字幕。MoMoVL 专注于设备上 VLM 的模态感知自适应压缩,特别是那些使用混合专家架构的模型。RePlan-VLA 提供了一个框架,通过基于进度的重新规划来增强长时机器人操作任务中的 VLA 模型。其他研究调查了 VLM 的基础能力、偏好优化对对象覆盖的影响以及视觉语言融合的缩放定律,同时还研究了诊…
-
Snowflake Cortex Code 自动化文件引入,减少摩擦
Snowflake 推出了新的功能 Snowflake Cortex Code (CoCo),该功能可自动将文件引入其平台。这项进展旨在消除之前设置持续数据管道所需的摩擦和手动工作,例如协商跨账户 IAM 角色和配置文件格式。CoCo 集成了 AWS、Azure 和 Google Cloud,为数据引入提供了一个无服务器、可审计且支持基础设施即代码的模型。
-
新的PVIS-10K数据集增强了基于无人机的屋顶太阳能电池板检测
研究人员推出了PVIS-10K,一个旨在通过无人机图像改进屋顶光伏检测的新数据集。该数据集包含超过10,000张高分辨率图像,对中国多个城市的超过63,000个单独的光伏组件进行了详细标注。PVIS-10K旨在推进组件定位和分割在自动化无人机检测中的研究,为Segment Anything Model 3等模型提供基准。
-
AI应用cocoverse通过可观察行为而非假设来模拟宠物思维
作者开发了一个名为cocoverse的AI应用程序,旨在避免编造关于宠物的信息,其灵感来源于历史上的哲学和心理学概念。该应用程序旨在基于可观察到的行为和选择来模拟宠物的思维,而不是归因于看不见的内部状态。这种方法借鉴了摩根法则、显示偏好理论以及Daniel Dennett的意向立场等原则,强调关于宠物想法的AI陈述应被视为有证据支持的模型或猜测。
-
深度个性化使主动AI代理能够适应用户
研究人员开发了一种名为深度个性化的AI代理方法,使其能够通过持续观察和适应用户活动来主动提供帮助。这种方法包括一个“观察者代理”,它在本地维护用户上下文,并从隐式反馈中学习,例如建议的参与或忽略。该系统使用合成基准OSWorld-Persona进行了评估,并在干预准确性方面显示出显著的改进,一项用户研究表明其在一周内的F1分数大幅提高。
-
新的TriNetra框架增强了RGB-热融合以实现可靠监控
研究人员开发了TriNetra,一个新颖的RGB-热融合与跟踪框架,旨在提高监控系统的可靠性。该系统通过计算热可靠性系数(TRC)来动态调整热传感器数据的影响,从而解决了当前检测器的局限性。当热传感器因饱和或模糊而退化时,TriNetra的自适应门控机制能够维持性能,优于固定门控方法。该框架集成了修改后的YOLOv8m检测器、基于ByteTrack的跟踪器和行为分析器,在M3FD基准测试中展示了更高的精度和召回率。
-
活动家 Coco 被创意人士 Ángel G. Ropero 点名表扬
该条目讨论了 Coco,一位被创意人士兼记者 Ángel G. Ropero 点名表扬的活动家。Ropero 创作了粉丝杂志并在展会上分享,该条目引用了对那些在社交媒体上积极分享和支持的人的感激之情。该帖子使用了与粉丝杂志、反对数据中心的环保活动以及更广泛的艺术、文化、AI 和技术主题相关的标签。
-
Tail-SD框架通过混合条件化提升稀有物体检测能力
研究人员开发了Tail-SD,一个新颖的扩散合成框架,旨在改进物体检测,特别是稀有类别的物体检测。该框架结合了布局和指令条件化,能够更灵活、可控地生成合成数据。在COCO和LVIS数据集上的实验表明,Tail-SD显著提升了长尾物体的检测性能,展示了其解决计算机视觉中数据稀缺挑战的潜力。
-
Tail-SD 使用扩散合成改进稀有物体检测
研究人员开发了 Tail-SD,一个使用扩散模型生成合成数据以改进物体检测(特别是稀有类别)的新颖框架。该方法允许使用文本、布局或两者的组合进行可控合成,解决了先前仅文本或仅布局方法的局限性。在 COCO 和 LVIS 数据集上的实验显示,稀有物体的检测得到了显著改进,稀有类别的 AP 显著增加。
-
基于基础模型协作的无标注对象检测框架
研究人员开发了一种新颖的对象检测框架,无需在目标数据集上手动标注。该方法利用预训练的基础模型(包括视觉-语言系统)来自主生成分割建议并分配语义标签。自精炼训练循环和基于地标的聚类机制进一步提高了标签一致性并降低了计算成本。在 COCO 和 LVIS 等标准基准上的评估显示,与现有的开放词汇和长尾检测方法相比,性能有了显著提高,为未知环境中的实际应用提供了可扩展的解决方案。
-
新的量化方法提高了 Segment Anything Model 3 的效率
研究人员开发了一种名为保持语义量化(SPQ)的新型训练后量化技术,以降低 Segment Anything Model 3(SAM 3)的内存和计算成本。该方法旨在缓解提示对齐漂移问题,即量化后的模型可能会选择错误的物体或在视频帧之间丢失跟踪。SPQ 通过为概念敏感参数分配更多的校准权重,保留残差特征,并纠正视频内存中的平均误差来实现这一点,所有这些操作都不需要添加推理算子。
-
新的CAPTOR方法可在没有文本编码器的情况下实现基于文本的图像引导
研究人员开发了一种名为CAPTOR的新颖方法,该方法无需配对的文本编码器即可实现基于文本的图像引导。该方法将图像编码器的patch token聚类为“视觉词”,并分析字幕共现来估计术语-patch矩阵。与现有的无训练基线相比,CAPTOR在COCO、Pascal VOC和Cityscapes等基准测试中表现出卓越的性能,甚至可以与经过文本对齐训练的模型相媲美。该方法在专业领域也显示出潜力,在乳腺癌幻灯片分析上表现优于强大的基线。
-
New SPLIT method speeds up Vision Transformers by learning token resolution
研究人员开发了一种名为Split Policy Learned Image Tokenization (SPLIT)的新方法,以提高Vision Transformers (ViTs)的效率。SPLIT根据模型对任务相关信息的解释来学习分配token分辨率,而不是依赖原始像素统计。这种方法产生的token序列更短,同时保持了准确性,在分类任务和COCO及ADE20K等密集预测任务上取得了有竞争力的结果,同时使用的token减少了高达30%。
-
新的AVID数据集利用RGB-红外图像聚焦无人机检测
研究人员推出AVID,一个专为使用RGB和红外图像组合检测微小空中目标(特别是无人机)而设计的新数据集和基准。该数据集包含超过32,000对帧,专注于通常非常小的目标,大多数目标仅占8-16像素。AVID还包括一个扰动基准AVID-C,它模拟了各种图像退化,以评估这些因素以及跨模态对齐挑战如何影响检测性能。研究结果表明,与单独使用任一模态相比,组合RGB和红外数据可显著提高对这些微小目标的检测准确性。
-
新定理证明 AI 模型学习相同的世界表征
研究人员正式证明了柏拉图式表征假设 (PRH),该假设表明,在不同数据模态上训练的 AI 模型在规模扩大时会收敛到相同的世界表征。该研究引入了联合嵌入预测架构 (JEPAs) 作为实现这一目标的方法,证明了在各种模态上单独训练的 JEPAs 可以学习到相同的表征(在旋转变换下),前提是它们的正样本对是同一场景的观察结果。研究还强调,在语言模型中常用的下一个词预测,是获得这些柏拉图式表征的低效途径,需要显著更多的数据才能与视觉编码器实现可比的对齐。