PulseAugur
中
实时 12:18:25
实体 autoregressive model

autoregressive model

PulseAugur coverage of autoregressive model — every cluster mentioning autoregressive model across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
13
90 天内 36
发布 · 30天
0
90 天内 0
论文 · 30天
13
90 天内 34
层级分布 · 90 天
主题
关系
情绪 · 30 天

6 天有情绪数据

最近 · 第 1/2 页 · 共 37 条
  1. TOOL · CL_354858 ·

    自回归模型 vs. 扩散模型:AI写作方法的比较

    AI文本生成有两种截然不同的方法:自回归模型和扩散模型。自回归模型逐个token生成文本,每个新token依赖于前面的token,因此适用于需要顺序连贯性的任务,如聊天机器人和代码补全。而扩散模型可以同时预测和优化多个token,在填补空白或修改文本等任务方面具有潜在的速度优势,但可能难以处理高度相互依赖的token。

  2. TOOL · CL_351992 ·

    基于能量的模型统一了多种机器学习方法

    一篇新发表在arXiv上的教程论文,通过基于能量的模型(EBMs)的视角探讨了机器学习。它提出,通过标量能量函数定义分布的EBMs,可以统一各种机器学习方法。该论文详细介绍了能量函数、推理过程和学习方法的选择如何连接不同的模型,包括生成模型如GANs和扩散模型,表示学习技术如对比学习和BERT,以及强化学习方法。

  3. TOOL · CL_344314 ·

    论文通过随机动力学、LLM和神经SDE构建生成式AI框架

    一篇新论文通过随机动力学系统的视角探讨生成式AI,考察了三个不同的模型类别。它将大型语言模型(LLM)构建为非线性自回归模型,提供了对其运行和预训练的概率解释。该研究还分析了交互式LLM网络,刻画了它们的集体行为和涌现偏差。最后,它研究了用于连续时间生成建模的神经随机微分方程(SDE),并提出使用粗糙路径分析的高效训练方法。

  4. TOOL · CL_336426 ·

    离散扩散模型在规划任务中显示出优于自回归模型的优势

    一篇新的研究论文探讨了离散扩散模型在规划任务中优于自回归模型的优势。通过将规划抽象为图遍历问题,研究发现非自回归模型可以利用方向不对称性,在训练效率上优于自回归模型。这些非自回归模型学习一种反向解码策略,将前瞻问题简化为一阶转移,从而产生与自回归模型不同的内部表示。

  5. TOOL · CL_332850 ·

    教程探讨用于音乐音频创作的生成模型

    本教程论文全面概述了用于音乐音频创作的生成模型,面向熟悉神经网络训练但对音乐生成不熟悉的读者。它详细介绍了各种方法,包括神经音频编解码器、自编码器、自回归和掩码令牌模型、扩散模型以及流匹配。该论文还涵盖了采样加速、偏好优化等实际问题,并将这些技术与带有实际示例的已发表系统联系起来。

  6. TOOL · CL_337592 ·

    自回归LTF的VC维度问题已解决,随机模型显示指数级差距

    研究人员解决了自回归线性阈值函数(LTFs)VC维度理解上的一个长期存在的差距。对于确定性自回归LTFs,已证明当T ≥ d^2时,VC维度为Θ(d^2),缩小了先前O(d^2)的计数上界与实际值之间的差距。此外,该研究通过展示将符号函数替换为逻辑采样可以将VC维度从d的二次方增加到指数级,从而证明了确定性模型和随机自回归模型之间的指数级分离。

  7. TOOL · CL_315188 ·

    新的LAW技术实现了语言模型的纯粹自回归

    研究人员开发了一种名为LAW(Loopholing All the Way)的新语言建模技术,该技术完全依赖于自回归。该方法在去噪过程中传播预期的嵌入,仅在最后一步解码标记。与现有的扩散模型相比,LAW在数独和迷宫等任务上表现出优越的性能。它在GSM8K基准测试上也显示出显著的改进,并在OpenWebText等大型文本数据集上接近自回归模型的准确率。

  8. RESEARCH · CL_315165 ·

    块扩散模型在纵向电子健康记录分析方面显示出潜力

    研究人员探索了块扩散(BD)作为自回归(AR)模型在纵向电子健康记录(EHR)预测的替代方案。虽然AR模型在零样本预测方面表现出色,但它们难以处理时间上聚集的临床事件。在MIMIC-IV数据集上测试的BD模型显示了质量和效率之间的权衡,较小的块配置提供了更快的推理速度(B=8配置大约快1.43倍),同时保持了显著的预测性能。尽管BD的生成回滚通常低于AR模型,但其表示对于临床预测任务具有可比的信息量,表明BD是EHR建模的一种计算上吸引人的方法。

  9. RESEARCH · CL_312372 ·

    新的CoRAL框架融合了扩散和自回归模型,实现了高效的多模态推理

    研究人员推出了一种新颖的混合框架CoRAL,旨在克服自回归模型(ARMs)和扩散语言模型(DLMs)在多模态推理中的局限性。CoRAL采用了非对称规划器-执行器(APE)架构,其中DLM规划器并行生成多个推理路径,而大型ARM执行器则选择最佳路径并合成最终答案。为了增强规划器的训练,一种名为“奖励引导去噪”(RDC)的新技术将基于结果的奖励整合到扩散过程中。在视觉-语言基准上的实验表明,CoRAL在效率和质量方面优于现有的基于扩散的方…

  10. RESEARCH · CL_309944 ·

    斯坦福研究人员发布用于AI语言生成的Next-Concept Modeling

    斯坦福大学Hazy研究小组的研究人员推出了一种新颖的语言生成架构——Next-Concept Modeling (NCM)。与传统的逐个token生成文本的自回归模型不同,NCM生成响应的层级表示,从抽象概念开始,并逐步细化。这种方法旨在通过并行生成全局表示而非顺序生成来提高效率,尽管它尚未声称在GPT或Llama等成熟模型上具有优势。

  11. TOOL · CL_303714 ·

    文本到图像合成:十年回顾论文发布

    一篇全面的回顾论文审视了过去十年发表的关于文本到图像合成(T2I)的490篇研究论文,涵盖范围延伸至2026年。论文详细介绍了生成模型(如GANs、自回归模型和扩散模型)在T2I中的演变。它根据可控性、个性化生成、编辑、偏好对齐、效率、安全性和一致性等具体挑战对当前研究进行了分类。该回顾还考察了统一的多模态模型、常用数据集、评估指标以及AI生成内容的潜在应用和未来研究方向。

  12. RESEARCH · CL_294126 ·

    新研究应对AI中的变分推断挑战

    两篇新研究论文解决了变分推断中的挑战,变分推断是一种用于近似复杂概率分布的方法。第一篇论文《MFVI的模式崩溃》(Mode Collapse of Mean-Field Variational Inference)为MFVI中的模式崩溃提供了理论解释,并引入了旋转变分推断(Rotational Variational Inference, RoVI)来改善模式覆盖。第二篇论文《非高斯空间场的稀疏自回归变分推断》(Scalable Sp…

  13. RESEARCH · CL_300590 ·

    Next-Concept Modeling 通过并行、粗粒度到细粒度的方法加速文本生成

    研究人员推出了一种名为 Next-Concept Modeling (NCM) 的新颖两阶段框架,旨在加速文本生成。NCM 利用多尺度残差 VQ-VAE 将文本编码为离散代码的层次结构,然后由 Transformer 并行生成这些代码。在 LM1B、OpenWebText 和 XSum 数据集等各种基准测试中,该方法在速度和质量方面均显著优于扩散语言模型 (DLM)。与自回归模型和扩散模型相比,NCM 在数独等推理任务上也表现出更优越的性能。

  14. TOOL · CL_275140 ·

    新框架GeoSim分析用于图像恢复的VLM表示

    研究人员开发了一个名为GeoSim的新框架,用于分析视觉语言模型(VLM)在低层图像恢复任务中的内部表示。该研究调查了不同的VLM架构,如自回归模型和扩散Transformer,如何组织其像素级感知的表示。GeoSim采用四级分析来揭示潜在的组织原则,并识别跨任务和跨模型可迁移性方面的局限性。

  15. TOOL · CL_273244 ·

    AI视频生成更好地与人眼视觉皮层对齐

    研究人员开发了一种新方法,通过将视频生成模型的内部表征与人眼视觉皮层活动进行比较来评估模型。他们发现,自回归(AR)视频扩散模型在生成未来视频帧时,比处理观察视频的模型更能与人眼视觉皮层对齐。与用于观察视频重建的低阶区域相比,这种对齐在未来生成中更高阶的视觉皮层区域更为明显。一项人类行为实验进一步支持了这些发现,显示出人们更偏好通过放大与视觉皮层活动更匹配的层来生成的视频。

  16. TOOL · CL_269389 ·

    新的SPRINT模型单步生成推荐,提高效率和准确性

    研究人员推出SPRINT,一种新颖的单步生成式推荐系统,它绕过了现有自回归和非自回归模型中常见的逐个token生成。通过将物品推荐视为token生成概率的流动,并以平均概率速度来表征,SPRINT可以在一次前向传播中生成推荐。这种方法带来了显著的效率提升,与同类方法相比速度提升了8.39-10.04倍,同时推荐准确率平均提高了7.77%。该系统利用双向Transformer和双层流对比目标来保持生成token之间的一致性。

  17. TOOL · CL_243711 ·

    扩散语言模型速度超过1000 token/秒

    扩散语言模型正成为一种新范式,能够以超过每秒1000 token的速度生成文本。这标志着与传统的自回归模型(逐个token生成文本)相比有了重大转变。这一进步可能带来更快、更高效的AI应用。

  18. RESEARCH · CL_217749 ·

    AI初创公司VIDRAFT推出AX-RAY以检测模型中隐藏的因果泄露

    AI安全初创公司VIDRAFT开发了一个名为AX-RAY的新审计框架,用于检测混合序列模型中的因果泄露。这种泄露发生在未来令牌信息不当地影响早期位置时,这种缺陷会人为地夸大性能指标。该框架在arXiv论文中进行了详细介绍,在注入合成故障后,成功地在两个已公开的模型Nemotron-H-8B和Zamba2-1.2B中识别出了这个问题。AX-RAY旨在为AI模型提供一种精确、无需训练且与架构无关的验证技术。

  19. RESEARCH · CL_205661 ·

    MegaParts 使用令牌高效自回归建模将3D对象生成扩展到300个部件

    研究人员开发了MegaParts,一个新颖的3D对象生成框架,显著扩展了部件感知建模。通过采用令牌高效的矢量量化部件令牌和具有长上下文训练的结构化自回归序列建模,MegaParts可以处理多达300个部件的对象。与现有的自回归和扩散模型相比,这种方法实现了更高的网格质量,为大规模3D生成任务提供了一个引人注目的替代方案。

  20. TOOL · CL_193984 ·

    新的LHSDet方法使用VQA检测高分辨率AI生成图像

    研究人员开发了LHSDet,一种检测高分辨率AI生成图像的新方法。该方法将检测任务重新构建为视觉问答问题,利用了视觉-语言框架。LHSDet采用独特的三分支架构,结合了图像块的低级视觉特征、高级全局感知特征以及文本标题的语义特征,以有效识别来自各种模型(包括扩散和自回归类型)的AI生成图像中的伪影。