实体
Dong Gyun Kang
Dong Gyun Kang
PulseAugur coverage of Dong Gyun Kang — every cluster mentioning Dong Gyun Kang across labs, papers, and developer communities, ranked by signal.
总计 · 30天
2
90 天内 2
发布 · 30天
0
90 天内 0
论文 · 30天
2
90 天内 2
层级分布 · 90 天
主题
情绪 · 30 天
1 天有情绪数据
最近 · 第 1/1 页 · 共 2 条
-
LLM 的注意力机制在新颖的语境和不同模型中表现出独特的行为 · 跟踪 3 个来源
研究人员正在探索大型语言模型（LLM）的内部机制，特别是注意力函数，如何影响它们在新颖语境下的行为。一项研究提出了一种“函数混合注意力”（MoFA），该模型为 softmax 和 sigmoid 头分配固定的比例，发现这种比例对分布内任务的影响很小，但对分布外性能有显著影响，并根据比例区分文本类型。另一篇论文回顾了 LLM 中注意力机制的演变，通过记忆表示、更新、访问、读出和整合等视角分析了上下文记忆的发展，强调了深度和异构架构如何协…
-
Transformer 模型 ProQ-BERT 推进 CKD 预后预测
研究人员开发了一个名为 ProQ-BERT 的基于 Transformer 的框架来预测慢性肾脏病 (CKD) 的进展。该模型利用多模态电子健康记录，包括人口统计、临床和实验室数据，采用新颖的连续值分词方法和用于可解释性的注意力机制。在超过 91,000 名患者身上进行测试，ProQ-BERT 在短期预测方面表现优于 CEHR-BERT，ROC-AUC 高达 0.995，PR-AUC 为 0.989。该研究强调了 Transforme…