PulseAugur
中
实时 08:41:54
实体 Llava

Llava

PulseAugur coverage of Llava — every cluster mentioning Llava across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
8
90 天内 54
发布 · 30天
0
90 天内 0
论文 · 30天
6
90 天内 43
层级分布 · 90 天
主题
情绪 · 30 天

3 天有情绪数据

最近 · 第 1/3 页 · 共 60 条
  1. TOOL · CL_366376 ·

    DetectViT识别视觉Transformer中的后门攻击

    研究人员开发了DetectViT,一种在推理时检测视觉Transformer(ViTs)中后门的新颖方法。该方法分析头间注意力差异,识别两种劫持类型:完全注意力重叠和部分注意力分布方差。DetectViT无需训练数据或模型输出即可运行,以最小的计算开销实现了高检测率。

  2. RESEARCH · CL_357654 ·

    新研究探讨视觉语言模型进展与安全性

    arXiv 上发表的多篇研究论文探讨了视觉语言模型 (VLM) 的进展。ViLFlow 引入了一种并行生成方法,以改进 VQA 和图像字幕。MoMoVL 专注于设备上 VLM 的模态感知自适应压缩,特别是那些使用混合专家架构的模型。RePlan-VLA 提供了一个框架,通过基于进度的重新规划来增强长时机器人操作任务中的 VLA 模型。其他研究调查了 VLM 的基础能力、偏好优化对对象覆盖的影响以及视觉语言融合的缩放定律,同时还研究了诊…

  3. TOOL · CL_323552 ·

    开发者使用LLaVA和Ollama构建免费的本地AI Alt Text生成器

    一位开发者创建了一个本地、免费运行的AI驱动工具,用于为网站图片生成Alt Text。该工具利用了视觉语言模型LLaVA和用于本地模型执行的Ollama,无需API密钥或云服务。该应用程序具有HTML/JavaScript前端、Node.js/Express后端,通过调整图片大小、将其转换为base64,然后将图片与提示一起发送到本地Ollama API来处理图片。

  4. RESEARCH · CL_321993 ·

    新框架揭示视觉语言模型对图像和文本组合变化的敏感性

    研究人员开发了 MoST,一个旨在评估视觉语言模型 (VLM) 模态敏感性的新型测试框架。MoST 采用基于搜索的方法来组合图像和文本扰动,揭示某些 VLM 对文本变化的敏感度更高,而另一些则在两种模态上都容易受到影响。该框架的发现表明,联合扰动比具有较小个体修改的单模态扰动更有效,并且人类评估表明,尽管扰动后的输入仍然可以理解,但在对象定位等任务上 VLM 的准确性仍落后于人类。

  5. TOOL · CL_317552 ·

    新的ASaRG方法增强了LLaVA在医学报告生成方面的能力

    研究人员开发了ASaRG,一种新颖的方法,增强了LLaVA架构在医学影像中自动细粒度分割辅助报告生成的能力。通过整合来自专业放射学模型的中间特征和分割图,ASaRG显著提高了相对于基线LLaVA的性能,在CE F1分数上取得了显著的提升。该方法在与现有的基于分割的报告生成技术相比也显示出更优越的结果,并允许将生成的报告元素追溯到其相应的分割图,从而验证评估的依据。

  6. TOOL · CL_312605 ·

    LLaVA-CKD框架通过级联蒸馏提高视觉语言模型效率

    研究人员开发了LLaVA-CKD,一种新颖的自底向上级联知识蒸馏框架,旨在提高大型视觉语言模型(VLMs)的效率。该方法通过引入中等容量的Teacher模型来逐步弥合容量差距,解决了大型Teacher模型和小型Student模型之间的知识迁移挑战。LLaVA-CKD应用于基于LLaVA方法学的模型,在标准的视觉问答基准测试中展现出具有竞争力的性能,为实际部署提供了更高效的替代方案。

  7. TOOL · CL_289348 ·

    新的ComCLIP框架增强了VLMs的CLIP视觉编码器

    研究人员提出了ComCLIP,一个用于精炼CLIP视觉编码器的新框架,该编码器是LLaVA等模型的基础。与之前的发现相反,他们证明了当对比温度设置得当时,对比预训练是有效的。ComCLIP冻结文本编码器,并使用有温度的对比损失、MSE锚定损失以及来自DINOv2的关系蒸馏。该方法在零样本分类上与现有基线相匹配,并提高了视觉特征的可迁移性,同时保持了与LLaVA的下游兼容性。

  8. RESEARCH · CL_273465 ·

    新框架增强视觉语言模型以适应专业任务 · 跟踪2个来源

    研究人员开发了两种新颖的框架,用于将视觉语言模型(VLMs)适应专业领域。第一个是归纳视觉逻辑(IVL),它使用一种无需训练的方法,从VLMs的描述能力中构建分类知识,特别适用于分布外任务。第二个是ScaleEarth with CS-HLoRA,它通过将低秩适应条件化于图像的地面采样距离(GSD)来适应遥感VLMs,在对尺度敏感的任务上取得了改进的性能。

  9. TOOL · CL_273318 ·

    ShieldCLIP框架增强多模态模型的安全对齐

    研究人员推出ShieldCLIP,一个旨在通过选择性处理有害内容来增强多模态基础模型安全对齐的新型框架。与以往将所有生成样本都视为不安全的先前方法不同,ShieldCLIP根据单个模态的安全状态进行区分。该方法得到了ViSUv2的支持,这是一个具有按模态安全标签的新数据集。ShieldCLIP已证明在减少各种任务中的有害输出方面是有效的,包括使用Stable Diffusion v1.4和SDXL等模型的跨模态检索和文本到图像生成,同…

  10. RESEARCH · CL_280290 ·

    新的多模态模型和研究推动了人工智能在边缘、推理和生成方面的能力

    几篇研究论文和一个新模型发布,专注于推进多模态人工智能能力。Liquid Foundation Models 发布了开源的 d1-3B 模型,该模型针对边缘设备进行了优化,能够处理文本和图像,并具有快速的推理时间。同时,新的研究探索了在嘈杂监督下改进多模态学习(REFINE)、对直观视觉推理进行基准测试(Humanity's Sixth Sense)、全模态嵌入的结构化专业化(Syn-Omni)、通过张量建模学习多模态协同作用(HRI…

  11. TOOL · CL_257180 ·

    新的ViD框架解决了视觉语言模型中的性别偏见问题

    研究人员推出了一种新颖的框架ViD,旨在缓解大型视觉语言模型(LVLMs)中的性别偏见。与需要训练阶段调整或事后校准的先前方法不同,ViD通过分析注意力机制来动态解决视觉偏见,而无需额外的训练开销。该框架采用后门调整和精炼的token选择,以抑制源于强大语言先验的偏见,同时保持通用的推理和文本生成质量。ViD在FACET和MS COCO等基准测试中显著减少了性别偏见,尤其提升了LLaVA模型的性能。

  12. TOOL · CL_254414 ·

    统一视觉语言模型增强PSMA PET/CT分析

    研究人员开发了一种新颖的统一视觉语言模型,旨在增强前列腺癌管理中PSMA PET/CT扫描的分析。该模型将报告生成、视觉问答和病灶分割整合到一个单一架构中。与现有模型相比,它在报告生成和病灶分割任务上表现出卓越的性能,为解读这些医学影像提供了一种更全面、更具交互性的方法。

  13. TOOL · CL_254250 ·

    MLLMs 模仿人类对双稳态图像的感知

    研究人员调查了多模态大语言模型(MLLMs)在呈现双稳态图像(如经典的鸭兔图)时是否表现出类似人类的报告行为。研究使用了 LLaVA 系列模型,探讨了视觉线索和语言先验如何影响模型响应,发现这些因素会系统性地改变报告,这与人类感知一致。模型也像人类一样,主要倾向于单一解释,其内部计算涉及竞争性的图像-标记表示和不同的调制通路。

  14. TOOL · CL_227256 ·

    图像增强技术被测试为深度学习图像检索系统的生成器

    本文介绍了一种利用图像增强技术作为测试生成器来测试深度学习图像检索系统的新方法。该研究对50种增强方法进行了分类,并实证评估了它们在生成多样化测试用例方面的有效性。使用Amazon Titan和OpenCLIP模型在CIFAR-10、ImageNet-1K和March Networks数据集上进行的实验表明,天气模拟和SaSPA技术在保持真实性的同时,产生了最高的嵌入不确定性和故障率。相反,基于GAN的增强由于合成伪影而显示出较低的真实性。

  15. TOOL · CL_212130 ·

    新的 ClustRS 算法提升了 VLM 的效率和鲁棒性

    研究人员开发了 ClustRS,这是一种新颖的、无需训练的两部分算法,旨在提高视觉语言模型(VLM)的效率和鲁棒性。该方法采用注意力加权聚类方法来识别和选择代表性的视觉令牌,然后进行去噪步骤来精炼这些令牌。ClustRS 算法显著减少了所需的视觉令牌数量,使得 LLaVA 等 VLM 更适合在边缘设备上部署,并提高了它们对各种图像噪声条件的抵抗能力。

  16. TOOL · CL_203728 ·

    开发者通过顺序加载在本地运行多个AI模型

    一位开发者详细介绍了一种策略,通过采用顺序加载方法,在VRAM有限的单台本地服务器上运行多个大型AI模型。该方法涉及加载一个模型,使用它完成特定任务,然后在加载下一个模型之前将其卸载,从而避免同时出现VRAM过载。该开发者分享了他们选择和配置模型(如用于转录的Whisper,用于跨语言文档分析的BGE M3-Embedding,以及用于图像分析的Gemma)的经验,并指出了性能、准确性和资源消耗之间的权衡。

  17. COMMENTARY · CL_200645 ·

    Stable Diffusion 用户寻求图像生成一致性建议

    Reddit 的 r/StableDiffusion 版块上一位用户正在寻求关于如何在图像生成中实现特定构图控制和产品一致性的建议。他们正在比较包括 ChatGPT、Krea 2、Grok、Z Image 和 Flux.2 Klein 9B 在内的各种模型的生成结果,并指出在复制预期结果方面遇到的困难。该用户正在询问是应该使用 LoRA、更改文本编码器,还是问题主要在于提示词、条件设置或工作流程。

  18. RESEARCH · CL_194006 ·

    新方法利用多模态伪标签和测试时自适应来增强开放词汇分割

    研究人员开发了用于开放词汇实例和全景分割的新方法,旨在识别预定义类别之外的对象,而无需大量手动标注。一种方法,在 arXiv 论文中有所详述,使用 Grounded SAM 和 LLaVA 等模型生成的多模态伪标签,并通过 CLIP 引导过滤和 GPT 驱动的字幕重建进行增强。另一种方法,测试时原型自适应 (TPA),是一种无训练的即插即用模块,在输出层面运行,使用未标注的部署域图像从 DINO 特征构建类别原型,以提高分割准确性。

  19. TOOL · CL_201665 ·

    发布新的西班牙语网络安全视觉语言模型

    研究人员开发了VectraYX-Vision-1B,一个专为西班牙语和拉丁美洲网络安全图像设计的紧凑型视觉语言模型。该模型参数量小于20亿,集成了SigLIP-SO400M编码器和专用解码器,使其能够处理网络安全用户界面并以西班牙语响应。它通过原生标记和工具调用能力实现结构化视觉推理,并有可能通过llama.cpp的LLaVA格式进行隔离部署。初步测试显示在视觉基础方面存在挑战,但团队正在解决这些问题,并已发布代码、配置和模型权重,以…

  20. RESEARCH · CL_193699 ·

    新的西班牙语网络安全视觉语言模型显示出潜力,尽管存在基础问题

    研究人员开发了VectraYX-Vision-1B,一个专为西班牙语和拉丁美洲网络安全图像设计的视觉语言模型。这个参数量小于20亿的模型集成了SigLIP编码器和西班牙语安全解码器,使其能够用西班牙语回答、生成结构化推理并调用工具。尽管功能管道已建立,初步结果显示视觉基础几乎为零,模型在很大程度上忽略了图像内容。研究团队正在调查补救策略,并探索与位置编码层相关的架构问题。