实体
Yongchao Huang
Yongchao Huang
PulseAugur coverage of Yongchao Huang — every cluster mentioning Yongchao Huang across labs, papers, and developer communities, ranked by signal.
总计 · 30天
3
90 天内 3
发布 · 30天
0
90 天内 0
论文 · 30天
3
90 天内 3
层级分布 · 90 天
主题
最近 · 第 1/1 页 · 共 3 条
-
JEPA 模型被证明等同于隐马尔可夫模型
一篇新的研究论文提出，当完全按时间索引时，联合嵌入预测学习 (JEPA) 模型与隐马尔可夫模型 (HMMs) 具有相同的计算结构。该论文详细介绍了 JEPA 的组成部分，例如随机上下文编码器和概率预测器，如何对应于 HMMs 中发现的推理、传播和发射角色。为了巩固这种联系，研究人员引入了马尔可夫链 JEPA (MCJEPA)，它使用学习到的转移矩阵来确保与 Chapman-Kolmogorov 方程的一致性。实验支持将 JEPA 的预…
-
高斯混合注意力提供线性时间序列混合
研究人员引入了高斯混合注意力（GMA），这是一种新颖的序列混合技术，旨在克服标准Transformer注意力的二次扩展瓶颈。GMA用通过学习到的高斯混合分量的概率路由机制取代了显式的token到token比较，将内存复杂度从O(N^2)降低到O(NK)，其中K是固定的。虽然GMA在长上下文分类任务上表现出竞争力，并在因果设置中显示出潜力，但它在特定基准测试中目前落后于优化的softmax注意力和Mamba等状态空间模型。
-
新框架将神经推理建模为主动证据累积
研究人员引入了神经贝叶斯序列路由（NBSR），一个新颖的框架，将神经推理建模为分层有向无环图（DAG）内的主动证据累积。该方法通过获取证据、更新信念状态以及确定何时停止计算，使神经网络能够模仿人类决策。NBSR 提供不确定性量化、提前退出和成本感知证据获取，在视觉分类、语言建模和实验设计等各种任务中表现出竞争力。