Leonhard Euler
PulseAugur coverage of Leonhard Euler — every cluster mentioning Leonhard Euler across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
LLM 通过编程任务，测试套件缺陷暴露
对一个语言模型进行编写小程序的能力测试，令人惊讶的结果是模型表现良好，但测试套件本身被发现存在缺陷。测试套件使用属性预言机来验证程序输出，包括已知值、变态属性、结构检查和暴力验证。尽管生成器通过了大多数操作，但大量操作在多次运行中持续失败，表明是测试套件存在问题，而非模型的能力。一个仅重新格式化程序标准输出的包装器揭示了原始测试套件拒绝了正确的程序。
-
Transformer模型可执行上下文内数据生成，模拟生成式采样器
研究人员已证明，大型语言模型（特别是Transformer模型）可以充当数据生成的上下文内采样器。该研究证明，这些模型可以模拟迭代式生成采样器，将上下文内学习的范围从监督学习扩展到数据生成。这是通过识别softmax注意力在计算责任权重和经验平均值中的生成作用，以及前馈层执行欧拉更新来实现的。实证表明，当Transformer模型遇到与特定语义主题相关的提示时，它们可以近似能量模型采样器。
-
新研究探索参数雅可比矩阵在神经网络稳定性中的作用
本文在学习模型和神经切线核（NTK）的框架下，探讨了网络输出的稳定性。研究表明，线性化动力学自然地导出了半群公式，通过希尔伯特空间上线性算子的特殊半群来呈现时间动力学。该研究提供了新的、明确的先验扰动界限结果，包括NTK构造的有限时间扰动估计以及对非自治NTK演化的扩展。
-
新研究探索扩散模型优化和控制技术 · 已追踪 4 个来源
研究人员正在探索扩散模型的先进方法，重点是优化采样过程和控制分布。一篇论文介绍了“优化你的采样”（OYS），这是一种贝叶斯优化技术，可调整文本到图像和修复任务的采样时间步长，从而在降低推理成本的同时显著提高质量。另一项研究提出了一个用于推理时分布控制的均场框架，为引导扩散模型走向期望分布提供了理论保证，可应用于蛋白质构象等任务。第三篇论文全面介绍了通用状态空间中的扩散模型，统一了连续和离散域，重点关注理论基础和训练原则。最后，第四篇论…
-
新AI框架通过高级控制解决非配对图像翻译问题
研究人员开发了两个新的非配对图像到图像翻译框架，该任务涉及在不依赖配对示例的情况下改变图像的外观同时保留其内容。PRISM 使用分布门控流匹配方法来控制哪些特征被改变以及哪些被保留，在各种基准测试中取得了优异的结果。另一方面，UniCycleFlow 将双向翻译构建为单个时间条件速度场，从而实现双向连贯的转换，并在平均 FID 分数上优于现有方法。
-
ComfyUI 为 MiniMax H3 添加 Spectrum 加速，缩短采样时间
ComfyUI 发布了一个新的 "Spectrum" 节点，用于加速 MiniMax H3 模型。该节点用谱特征预测替换了一些计算成本高昂的 Transformer 评估，从而显著提高了速度。基准测试显示，Euler 采样器的采样时间减少了 34%，RES 多步采样器的采样时间减少了 29.6%，且输出质量没有明显下降。开发者计划通过启用特征历史的 VRAM 存储来进一步优化性能。
-
开发者从零开始用 C/CUDA 构建 GPT-2 规模模型
一位开发者创建了 NanoEuler，一个完全从零开始使用 C/CUDA 构建的 GPT-2 规模语言模型，摒弃了 PyTorch 等常用 AI 库。该项目侧重于工程方面，具有手动编写的训练前向和后向传播。该模型拥有约 1.16 亿个参数，可以在单个消费级 GPU 上进行训练，并展示了学习到的语法和百科全书式的知识，尽管由于其规模而缺乏现实世界的知识。
-
新的随机微分方程方案误差估计有助于非对数凹采样
研究人员为随机微分方程（SDEs）的数值方案开发了新的误差估计框架。这些框架为驯服的未调整 Langevin 算法（kTULA）和新的驯服随机中点方案（tRLMC）提供了有限时间、非渐近误差界限。该研究为从非对数凹分布采样提供了近乎最优的迭代复杂度，并为非凸优化问题提供了非渐近保证。
-
Transformer as an Euler Discretization of Score-based Variational Flow
研究人员提出了一个名为基于分数的变分流（SVFlow）的新理论框架，它为表示学习提供了一个连续时间动力学系统视角。该框架表明，Transformer架构可以被视为SVFlow的精确前向欧拉离散化。论文详细介绍了Transformer中的多头注意力、MoE/FFN层以及残差归一化块如何对应于SVFlow矢量场及其几何属性的近似。