lpips
PulseAugur coverage of lpips — every cluster mentioning lpips across labs, papers, and developer communities, ranked by signal.
- instance of peak signal-to-noise ratio 90%
- instance of Structural Similarity Index Measure 70%
- used by Structural Similarity Index Measure 70%
- used by peak signal-to-noise ratio 70%
- used by Gotit.pub 70%
- competes with Structural Similarity Index Measure 60%
- uses Structural Similarity Index Measure 60%
4 天有情绪数据
-
CalibCache 方法提升 Diffusion Transformer 的图像生成速度和质量
研究人员开发了 CalibCache,一种提高 Diffusion Transformer 效率的新方法,Diffusion Transformer 用于生成高质量图像。该技术通过减少对完整网络评估的需求来解决迭代采样的计算成本。CalibCache 使用离线校准图来校准特征加速(采样步骤之间的变化度量)。该方法在图像保真度和生成速度方面显示出显著的改进,在 FLUX.1-dev 和 Qwen-Image 等基准测试中优于 Taylo…
-
新的视频编码方法平衡感知质量和时间一致性
研究人员开发了一个新的神经视频编码框架,该框架平衡了感知质量和重建保真度。该方法使用局部切片 Wasserstein 畸变 (SWD) 来匹配特征分布,并使用新颖的流残差来跨帧保持时间一致性。当在标准数据集上使用 COOL-CHIC 编解码器进行测试时,该方法在 DISTS 和 LPIPS 等畸变指标上实现了显著降低,同时还降低了时间不一致性。
-
新的PRIN网络以感知和结构为重点增强低光图像
研究人员开发了一个名为PRIN(感知-结构Retinex启发网络)的新网络,旨在增强低光图像。该方法将图像分解为反射率和亮度分量,并对每个分量应用专门的细化技术。反射率分支专注于保留纹理和边缘,而亮度分支确保亮度调整的一致性。在LOL-v1和LOL-v2等基准数据集上的实验证明了PRIN在提高结构相似性和感知质量方面的有效性。
-
新的PBSR方法通过合成伪突发帧来增强单图像分辨率
研究人员开发了一种名为伪突发超分辨率(PBSR)的新方法,该方法通过合成伪突发帧来增强单输入图像的分辨率。该技术利用零样本新视角合成来创建具有真实视差的帧,然后由几何感知对齐模块进行处理。与单帧超分辨率基线相比,PBSR在峰值信噪比、结构相似性指数测量和LPIPS方面均有所改进。
-
新的ReMATF框架有效缓解视频湍流
研究人员开发了ReMATF,一个新颖的循环框架,旨在缓解视频中的大气湍流。该轻量级系统一次仅处理两帧,与现有的多帧方法相比,显著降低了计算成本和内存使用量。ReMATF采用带有时间扭曲的多尺度编码器-解码器和运动自适应融合模块,以增强时间连贯性、减少闪烁并锐化细节。实验证明,在峰值信噪比、结构相似性度量和lpips方面有显著改进,使其适用于资源受限环境下的实时应用。
-
ParetoGS 通过连续预算优化推进 3D 高斯泼溅技术
研究人员推出了一种新颖的 3D 高斯泼溅方法 ParetoGS,可针对不同高斯数量优化场景表示。与可能需要为每个预算单独优化的先前方法不同,ParetoGS 使用一小组自适应预算锚点来解码中间预算,而无需重新优化。该方法在修剪和自适应之间交替,创建具有持久身份的嵌套锚点,并将参数变化编码到残差图集中。解码时,ParetoGS 会插值状态并引入新的渲染贡献,从而实现连续预算表示,与现有方法相比,在具有更少高斯的情况下,可以实现更好的 P…
-
ResGVC框架通过残差编码增强生成式视频压缩
研究人员推出了一种新颖的生成式视频压缩框架ResGVC,该框架通过传输残差信号来增强保真度。该方法通过在每个去噪步骤中对残差片段进行编码,引导去噪过程趋向于原始图像。该框架利用扩散Transformer作为这些残差片段的熵模型,从而实现更有效的分布建模。实验表明,与最先进的方法相比,在LPIPS和PSNR方面显著降低了BD率,同时提高了视觉质量。
-
Loomis Painter 框架重建艺术绘画过程
研究人员开发了 Loomis Painter,一个旨在重建和理解艺术绘画过程的新颖框架。该系统通过在反向序列上进行训练来解决生成时间上和结构上一致的绘画视频的挑战,这能更好地保留模型的注意力模式。一种媒体迁移训练策略进一步实现了跨不同艺术媒体的艺术生成,并且该框架在用户研究和指标评估中表现优于现有方法。
-
SemQAM通过联合编码和调制推动生成图像传输发展
研究人员开发了SemQAM,这是一种新颖的联合语义-信道编码和调制方案,旨在改进生成图像传输。与传统分别优化这些组件的方法不同,SemQAM将它们集成起来,使源表示能够更好地适应信道损伤。该系统使用矢量量化并将索引映射到QAM符号,更新码字以直接解决信道效应并减少自回归编码中的错误传播。实验表明,SemQAM-C在图像质量指标上优于OneDC等现有方法,同时保持了有竞争力的源编码能力,而SemQAM本身与分离方法相比,信道使用量减少了18%以上。
-
深度学习评估行车记录仪视频中的道路车道质量
研究人员开发了一种使用深度学习和行车记录仪视频评估道路车道质量的新方法。该系统利用了在德克萨斯州南部收集的超过63,000帧的地理参考数据集。它引入了三个新颖的质量指标:对比度稳定性指数(CSI)、线连续性比率(LCR)和回归车道置信度得分(RLCS)。这些指标表现出强大的性能,并且与人类排名的一致性优于一般图像质量评估。
-
新的3D高斯泼溅方法通过遮挡感知改进场景致密化
研究人员开发了一种新的3D高斯泼溅方法,通过考虑遮挡来改进场景致密化。这种遮挡感知方法确保密度统计信息仅从高斯实际贡献图像的视图中收集,而不仅仅是可见的视图。通过用平均贡献归一化器替换原始视图计数归一化器,该方法在图像质量指标上取得了更好的效果,并且需要更少的高斯,尤其是在遮挡严重的场景中。
-
脑启发式 Engram Memory Network 提升 AI 可解释性
研究人员开发了一种 Engram Memory Network (EMN),这是一种受人脑记忆系统启发的新型 AI 模型,旨在提高基于原型的 AI 的可解释性和可靠性。EMN 利用受 Hopfield 启发的记忆模块来检索代表性原型,从而提高分类准确性和解释质量。实验表明,在各种数据集上,视觉相似性、子类对齐和信息保留方面都有显著改进,这表明神经科学启发机制在 AI 领域的潜力。
-
CALM方法通过校准KV缓存压缩优化视频生成
研究人员开发了CALM(Calibrated Allocation for Layer-Head Merging,用于层头合并的校准分配)方法,这是一种减少自回归视频生成中KV缓存内存使用量的新颖方法。与之前应用统一合并率的方法不同,CALM根据不同注意力层和注意力头对令牌合并的敏感度来校准合并率。这种离线校准过程使用注意力输出误差作为视频质量的代理,从而能够有效地确定最优的层头风险图。实验表明,CALM的性能优于统一合并,将LPIP…
-
InfiniSplat v2 改进了新视图渲染的 3D 高斯重建 · 跟踪 2 个来源
InfiniSplat v2 是一种用于前馈 3D 高斯重建的新方法,可提高新视图渲染质量。它通过解耦几何和属性预测、在训练期间将高斯与真实相机姿势对齐以及采用大角度目标视图监督来实现这一点。该方法在六个数据集上展示了最先进的性能,与现有基线相比,平均 LPIPS 和 DISTS 显着降低。
-
新的3DGS方法通过误差驱动的致密化提高重建质量
研究人员开发了一种新的面向3D高斯溅射(3DGS)的置信度感知致密化方法,该方法提高了重建质量,尤其是在较低的原始预算下。该方法优先在图像误差高且学习到的置信度低的区域放置新的原始,在各种预算下,其在PSNR、SSIM和LPIPS指标上均优于标准的3DGS-MCMC方法。该方法还可以利用先验信息,在使用ConeGS和EDGS等先前方法进行初始化时,其性能与之相当或更优。
-
新框架为 DP-SGD 模型设定了隐私敏感的重建边界
研究人员开发了一个新的信息论框架,用于建立使用差分隐私 (DP-SGD) 训练的模型的重建边界。该框架提供了一个可在训练前计算的失真边界,揭示了对手可以从模型中恢复什么信息。它将训练所揭示的信息与数据分布的固有不确定性分开,并使用率失真理论将它们结合起来,为任何攻击的重建误差设定下限。该框架已应用于高维图像,首次给出了 LPIPS 测量的重建失真的已知下限,并在常见的隐私预算范围内展示了非微小的、不可避免的重建误差。
-
新的AI管线从语义标签模拟腹部超声
研究人员开发了一种新颖的两阶段管线,用于从语义标签模拟腹部超声图像,在推理过程中无需患者特定的CT扫描。第一阶段使用Semantic Diffusion Model (SDM)或Pix2Pix等模型,从解剖分割生成基于物理的图像。第二阶段使用受分割引导的CycleGAN将此图像精炼为逼真的超声扫描。这种方法通过编辑解剖图谱,可以控制健康和病理状况的模拟,尽管训练仍需要CT衍生的数据。
-
新的Kuration SDK旨在弥合AI世界模型中虚拟到现实的差距
研究人员开发了Kuration SDK,这是一个新的工具包,旨在弥合动作条件世界模型中模拟性能与现实世界性能之间的差距。该SDK通过关注数据策展策略来解决当前基准测试的局限性,这些基准测试通常无法捕捉定性的可玩性。通过分析《反恐精英》的游戏数据,研究团队发现传统的FVD和LPIPS等指标与有效的模型性能不相关,这凸显了在训练之前进行更可靠的数据质量评估的必要性。
-
新的SRIM方法增强了图像抵御恶意编辑的能力
研究人员开发了一种名为SRIM的新方法来保护图像免受恶意编辑,尤其是在图像被缩放时。现有方法针对特定分辨率进行了优化,但SRIM通过采样锚点尺度的网格来考虑未知的缩小因子。这种方法显著增加了像FLUX.2-klein、FLUX.2-dev和9B模型等模型所进行的编辑的干扰性,在高清照片上提供大致两倍的同等可见性保护。
-
新型视频编解码器利用事件流提高RGB压缩效率
研究人员开发了一种事件引导的神经视频编解码器(ENVC),它利用事件流(捕捉帧间亮度变化)来提高RGB视频压缩的效率。ENVC模型将这些事件流整合到运动编码和帧编码过程中。对于运动编码,它形成一个事件引导的运动先验并编码残差;对于帧编码,一个事件条件预测器改进了时间上下文。在六个基准上的评估显示,BD率显著节省,ENVC使用PSNR-RGB比DCMVC基线高39.13%,使用LPIPS比DCMVC基线高67.63%,证明了事件作为互补…