text-to-image generation
PulseAugur coverage of text-to-image generation — every cluster mentioning text-to-image generation across labs, papers, and developer communities, ranked by signal.
5 天有情绪数据
-
新的S2-RL框架推动了生成式语义分割数据集蒸馏的进展
研究人员推出了一种用于生成式语义分割数据集蒸馏的新型框架S$^2$-RL。该方法利用扩散模型进行文本到图像生成，能够根据简洁的文本提示创建新颖的语义分布。该框架采用具有双重奖励系统的组相对策略优化，鼓励单个样本的语义对齐和特征多样性，同时最大化样本集之间的多样性。在ADE20K和COCO数据集上的实验表明，S$^2$-RL的性能优于现有方法，并为该任务树立了新的基准。
-
新研究通过新颖的调优和正则化方法解决大型语言模型中的灾难性遗忘问题 · 追踪 6 个来源
研究人员正在探索新方法来解决持续学习过程中大型语言模型（LLMs）中的灾难性遗忘问题。一种方法是子空间调优（SST），它将权重更新限制在特定子空间内，以在获得新技能的同时保留现有知识。另一个框架 SPARS 结合了参数隔离和局部正则化，将参数划分为具有不同适应策略的区域。此外，一项关于高维设置中持续线性回归的研究推导出了梯度下降的最优步长，以最小化泛化损失，并显示出与最优调优的 L2 正则化等效。对于多模态模型，UniDecouple…
-
新的 MSR 方法提升了生成模型的多样性
研究人员推出了一种新颖的测试时技术 MINE-SAMPLE-RENDER (MSR)，旨在提高生成模型输出的多样性。MSR 首先通过挖掘语料库来创建可解释的模式和相关的采样统计数据。然后，它根据这些统计数据对属性配置进行采样，并仅将生成模型用作这些采样配置的条件渲染器。这种方法在文本到图像生成和 3D 资产创建等各种应用中，都证明了生成输出的多样性和质量有所提高。
-
BigCell 从文本报告生成十亿像素组织病理学图像
研究人员开发了 BigCell，这是一种能够生成十亿像素分辨率组织病理学组织全切片图像（WSIs）的新方法。与之前在较小图像块上运行的模型不同，BigCell 通过在超过 120,000 张 WSI 上训练流匹配 Transformer 来生成原生十亿像素尺度的连贯图像。该系统可以生成高达 32,768x32,768 像素的图像，并采用自适应调度策略来加速生成。此外，BigCell 还引入了直接从病理文本报告生成 8k 分辨率的文本到…
-
新的TerraVis框架评估文本到图像生成中的世界一致性
研究人员推出了TerraVis，一个旨在评估生成图像与现实世界可信度之间视觉一致性的新框架。该框架通过识别和量化与物体结构、解剖结构、物理交互和空间关系相关的违规行为，解决了现有文本到图像评估指标的局限性。TerraVis采用多阶段流程，利用多模态大语言模型（MLLM）检测18种特定的世界一致性失败类型，并分配一个与人类判断高度相关的总体分数。
-
新算法改进了黑盒生成式AI中的属性对齐
研究人员为黑盒生成式AI系统开发了新算法，以确保AI输出中特定属性的分布与用户定义的靶值相匹配。该方法对于确保公平性（例如，使受保护的属性（如性别、种族）与期望的分布对齐）或用于匹配靶分布的合成数据生成等应用特别有用。在文本到图像和角色生成任务上的实验表明，这些后处理算法能有效改善统计属性对齐，是对现有提示技术的补充。
-
扩散模型展示出固有的注意力机制和改进的采样技术 · 跟踪了7个来源
近期研究探索了扩散模型（一种主流的图像生成架构）的进展。一篇论文揭示了这些模型固有地利用了类似于Transformer的注意力机制，这表明注意力是一种通用的机器学习原理。另一项研究引入了控制变量分数匹配（CVSI）来提高扩散模型的采样效率并降低方差。此外，一种名为优势加权匹配（AWM）的新方法将强化学习目标与扩散模型的预训练相结合，从而显著加快了生成质量。
-
新框架使文本到图像奖励的图像编辑强化学习成为可能
研究人员开发了一个名为 Lever-Edit 的新颖框架，可以在无需特定编辑奖励的情况下实现图像编辑的强化学习。该方法利用现有的文本到图像生成奖励，将图像质量、提示遵循和参考一致性映射到文本到图像奖励空间。Lever-Edit 使用两阶段过程来学习一个与奖励对齐的字幕生成器，用于反事实描述，从而允许使用转移的文本到图像奖励来优化编辑策略。
-
新方法学习文本到图像扩散模型的动态引导时间表
研究人员开发了一种学习文本到图像扩散模型中动态引导时间表的新颖方法。当前模型通常使用静态的全局引导尺度，这可能不是最优的并导致伪影。这种新方法训练一个判别器来估计真实分布和引导分布之间的时间依赖性密度比，从而使生成器网络能够预测最优的、状态依赖的引导尺度。在文本到图像生成基准上的实证结果表明，该方法优于启发式时间表和先前动态引导技术。
-
新研究为文本到图像 AI 提供高级控制和安全性
两篇新研究论文提出了增强文本到图像生成模型控制和安全性的新颖方法。第一种方法 DiSCO，通过对比评分优化提示，提供了一种黑盒防御来防止生成不安全内容（NSFW），在保持图像质量的同时显著减少了有害输出。第二种方法 Concept Guidance (CoG) 是一种无需训练的方法，通过强化扩散模型中与概念相关的层来精确控制图像生成，在不改变模型本身的情况下提高了美学吸引力和局部连贯性。
-
新的BioPro框架旨在解决视觉语言模型中的性别偏见
研究人员推出了一种名为BioPro的新型框架，旨在解决视觉语言模型（VLMs）中的性别偏见。与以往应用统一去偏的方法不同，BioPro采用差异感知方法，选择性地减少中性语境中的偏见，同时保留明确语境中的有效性别区分。该框架无需训练，利用反事实嵌入和投影来中和与性别相关的信息，在图像字幕生成和文本到图像生成任务中均显示出有效性。BioPro的应用范围超越了性别，它在泛化到连续偏见变量（如场景亮度）方面也取得了成功。
-
MixDiffusion框架实现多条件文本到图像合成
研究人员推出了MixDiffusion，一个新颖的框架，旨在通过允许同时集成多个控制条件来增强文本到图像生成。与通常仅限于单个条件（如边界框或关键点）的现有方法不同，MixDiffusion通过组合预训练的单条件扩散模型，理论上可以容纳任意数量的条件，包括草图、深度图和参考图像。这种无需训练的方法易于部署和扩展，并通过理论支持的集成公式从各个单条件模型的预测噪声分布中得出其预测噪声分布。
-
新的强化学习方法提高了文本到图像AI的多样性和公平性
研究人员开发了一种新的强化学习目标，称为多轴最大化@K，以提高文本到图像生成模型的多样性和公平性。该方法解决了当前模型对同一提示经常产生有限范围的视觉上不同的输出的问题，这可能会加剧人口统计偏见。通过将有助于覆盖不同语义模式的样本计入，多轴最大化@K相对于基础模型将公平性分数提高了高达0.36，同时保持了图像质量和文本对齐。
-
新的IR引导扩散方法增强了文本到图像生成中独特对象的对齐
研究人员开发了一种名为中间文本表示（IR）引导扩散的新方法，以改进文本到图像生成模型。该技术解决了概念关联偏差问题，即模型由于强大的学习视觉先验而难以准确渲染特定、独特的对象（独一无二的对象）。通过将中间文本编码器的状态注入扩散过程，该方法在无需额外训练的情况下增强了提示与生成图像之间的对齐。实验表明，在保持生成质量和用户偏好的同时，VQAScore等评估分数显著提高，提升了19.1个百分点。
-
新的VESFlow方法增强了文本到图像生成的安全性
研究人员开发了VESFlow，一种新的无需训练的方法，用于增强使用流匹配的文本到图像生成模型的安全性。该技术直接编辑生成过程的速度场，将其引导至安全输出，而无需更改原始提示。一种高级变体VESFlow+通过将生成过程推离不安全方向，进一步完善了这一点，显著降低了有害内容生成的成功率，同时保持了良性输出的质量。
-
新的蒸馏方法恢复文本到图像模型中的噪声敏感性
研究人员开发了一个名为几何感知蒸馏（GAD）的新框架，以改进文本到图像生成模型。该方法解决了蒸馏模型中初始噪声敏感性丧失的问题，这会阻碍下游控制任务。GAD通过匹配与输入噪声相关的雅可比向量积，来对齐教师模型和学生模型的局部功能行为。实验表明，GAD在保持视觉质量的同时，成功恢复了噪声敏感性并增强了多样性。
-
新模型通过空间加权增强文本到图像的创造力
研究人员开发了一种自创造扩散（SCDiff）模型，以增强文本到图像生成的创造力。该模型包含一个可学习的空间加权模块，以强调图像的中心特征，以及一个视觉-语义混合损失，以平衡与文本描述的语义一致性和视觉新颖性。这种方法旨在克服当前模型常常产生缺乏真正艺术价值的字面解释的局限性。
-
新的流匹配方法增强了生成模型和强化学习
研究人员正在推进用于各个领域生成模型的流匹配技术。新的方法，如动能路径能量（KPE）和动能轨迹塑形（KTS），旨在通过分析轨迹能量来提高生成质量。PrismFlow引入了动态专家以实现更好的时间序列生成，而随机过程流匹配（RP Flow）则专注于稀疏数据和不确定性估计。STFlow通过整合数据依赖耦合来增强轨迹模拟，而递归流匹配（RecFM）为时空动力学提供了速度-保真度改进。此外，引导流匹配（FM4PDE）解决了具有稀疏观测的偏微分…