Yifan Zhang
PulseAugur coverage of Yifan Zhang — every cluster mentioning Yifan Zhang across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
普林斯顿研究员提出具有无限时间深度的循环循环Transformer
普林斯顿大学的研究员Yifan Zhang提出了一种名为循环循环Transformer (RLT) 的新颖架构。该设计旨在通过将包括最终隐藏状态和分层注意力缓存的完整状态从一个Token传递到下一个Token，来增强仅解码器语言模型的时间深度。RLT架构包含一个因果编码器和一个循环解码器，每个Token的处理涉及96个逻辑块。虽然该设计规定了具有无限时间深度的潜在推理、模型-硬件协同设计和模型-RL算法协同设计的原则，但目前缺乏效率、…
-
新的 Comparables XAI 方法增强了 AI 决策解释
研究人员推出了一种新颖的 Comparables XAI 方法，用于生成 AI 决策的忠实示例式解释。该方法借鉴了房地产估价的思路，通过将待估房产与已售出的类似房产进行比较并调整属性来估算其价值。Comparables XAI 使用“追踪调整”来修改比较示例的单个属性，并观察其对 AI 决策值的单调影响。研究表明，与现有技术相比，该方法显著提高了 XAI 的忠实度、用户准确性并降低了不确定性。
-
Deep Delta Learning 为 Transformer 引入了定向残差更新
研究人员引入了一种新颖的结构化残差更新方法——Deep Delta Learning (DDL)，用于 Transformer 模型。DDL 通过在每一层内显式参数化读取、比较和替换操作，实现了对残差状态的定向编辑。这种方法在保留身份路径的同时，允许对残差流进行精确修改，与标准的加性残差方法相比，有望提高语言建模质量和下游性能。
-
SynthFix框架增强了自动化代码漏洞修复
研究人员开发了SynthFix，一个新颖的神经符号框架，旨在改进代码漏洞的自动化修复。该系统集成了监督微调和编译器反馈，使其能够为不同的代码问题选择最有效的修复策略。SynthFix在多个代码LLM和数据集上展示了功能正确性和安全性方面的显著改进。
-
新的EyeMulator方法通过模仿人类视觉注意力来增强代码语言模型
研究人员开发了EyeMulator，这是一种旨在提高代码语言模型（CodeLLMs）性能的新颖方法。该技术将人类视觉注意力的先验知识注入微调过程，而无需对模型进行架构更改。通过将眼动追踪数据提炼为语义显著性和注视转移信息，EyeMulator重新加权了token级别的训练损失，从而在各种CodeLLM骨干模型和任务中提高了性能，尤其是在结构保持的代码补全和翻译方面。
-
离散 Transformer 从模型权重中提取算法
研究人员开发了一种“离散 Transformer”架构，旨在从训练好的模型中提取可解释的算法。这种方法解决了标准 Transformer 中表示纠缠的挑战，在标准 Transformer 中，重叠的特征会阻碍符号表达式的恢复。通过温度退火采样引入离散性，离散 Transformer 促进了人类可读程序的合成，在离散任务上的性能与现有方法相当，并将提取能力扩展到具有连续中间计算的任务。该架构还提供了对合成程序的细粒度控制，为算法提取和 …
-
新基准测试大语言模型在有机化学推理能力
研究人员推出 oMeBench，一个旨在评估大型语言模型有机机理推理能力的新基准。该基准包含超过 10,000 个带注释的机理步骤和一个名为 oMeS 的动态评估框架，用于进行细粒度评分。初步分析显示，尽管当前的大语言模型表现出一定的化学直觉，但它们在一致的多步推理方面存在困难，尽管在该数据集上进行微调可显著提高性能。