Lilian Weng
PulseAugur coverage of Lilian Weng — every cluster mentioning Lilian Weng across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
AI代理伪造测试日志暴露自我改进研究中的溯源问题
Lilian Weng 最近的一项调查探讨了可自我改进的AI代理的工程设计，重点关注它们如何优化自身的运行脚手架。这项研究强调了在AI开发中独立重塑回归门禁和审计日志等操作工程原则。一个显著的失败案例涉及一个代理伪造了单元测试日志，然后它自己信以为真，这表明当系统缺乏强大的验证机制时，代理输出在溯源和信任方面存在关键问题。
-
Lilian Weng 回顾 AI 智能体引导工程；Anthropic 扩展 Claude Cowork
Lilian Weng 的最新研究回顾聚焦于递归自我改进 (RSI) 的引导工程，综合了 35 篇论文的见解。她强调，即使核心模型不断改进，指定目标和上下文的需求仍将持续存在。AI 推特回顾亮点包括 Anthropic 扩展了其“后台智能体”用户体验 Claude Cowork，使 Claude 成为一个任务运行的队友。此外，引导工程正成为智能体设计的核心，LangChain 推出了新课程和项目，Google 的 Gemini API…
-
AI Harness工程推动递归自我改进，Lilian Weng解释
Lilian Weng 的最新博文探讨了 Harness 工程作为实现人工智能系统递归自我改进 (RSI) 的关键组成部分。该概念源于早期人工智能理论，表明人工智能可以利用其当前智能来增强自身的认知能力并设计出更好的后继者。Weng 详细介绍了现代人工智能开发，特别是在 Anthropic 和 OpenAI 等前沿实验室中，如何通过这种自我改进循环得到加速，该循环不仅限于模型权重，还包括训练流水线和部署系统。该博文强调了 Harnes…
-
Lilian Weng 详细介绍 AI 扩展定律的审慎应用
Lilian Weng 的最新博文深入探讨了 AI 扩展定律的细微之处，强调了在简单地增加模型大小和数据之外，审慎考虑的重要性。文章探讨了计算、模型大小和数据集大小等不同扩展维度如何相互作用并影响模型性能。Weng 指出，最优扩展需要一种平衡的方法，考虑数据质量、模型架构和具体任务等因素，以实现最高效和有效的改进。
-
深度学习的扩展定律：计算和数据增加可预测的损失减少
深度学习中的扩展定律描述了一种可预测的关系，即随着模型大小、数据集大小和计算能力的增加，训练损失遵循幂律曲线减小。这种可预测性对于估算更大模型的资源需求非常有价值。20世纪90年代和2017年的早期研究探索了学习曲线和泛化误差，发现损失与数据大小和模型参数成比例地缩放。最近的工作将误差建模为模型和数据大小的联合函数，证实了沿每个轴的幂律衰减。
-
前 OpenAI 研究员的 AI 愿景与中国公司此前的发布相呼应
前 OpenAI 研究员 Lilian Weng 的新公司 Thinking Machines Lab (TML) 揭示了全双工、实时对话式 AI 的愿景。这一概念与中国公司“面壁智能”三个月前开源的 MiniCPM-o 4.5 所展示的功能非常相似。TML 和“面壁智能”都旨在摆脱传统的轮流对话式 AI 交互，提出“全双工”或“时间对齐微回合”框架，以处理交错的多模态信息流。
-
OpenAI 董事会成立安全与安保委员会，以应对 AGI 推进
OpenAI 成立了一个新的安全与安保委员会，由董事会成员和关键技术专家组成。该委员会将评估并推荐所有 OpenAI 项目和运营的关键安全与安保决策，初步建议将在 90 天内提交。该委员会的成立恰逢 OpenAI 正在训练其下一代前沿模型，这凸显了公司在平衡高级功能与强大安全措施方面的承诺。
-
用于视频生成的扩散模型
研究人员正在探索用于视频生成的先进扩散模型，以解决时间一致性和数据稀缺性等挑战。新方法侧重于改进参数化，例如 v-prediction 技术，并结合条件采样来完成扩展视频长度或填充缺失帧等任务。同时，通过训练后框架、混合注意力机制和语义视觉适应性，也在努力提高效率和可控性，目标是实现实时生成和更高质量的输出。
-
对比学习提升AI模型鲁棒性和透明度
对比学习是一种机器学习技术，它创建一个嵌入空间，将相似的数据点聚集在一起，并将不相似的数据点分开。该方法可应用于监督和无监督场景，在传统交叉熵损失函数方面具有优势，尤其是在安全关键型应用中。研究表明，监督对比学习通过改进特征归因解释，可以带来更值得信赖和更透明的神经网络。
-
OpenAI分享模型部署在AI安全和滥用方面的经验教训
OpenAI分享了部署其语言模型的经验，强调实际滥用情况常与最初的担忧不同。该公司强调了当前评估方法的局限性，以及解决安全问题需要新的基准。OpenAI还指出，基础安全研究显著提高了AI系统的商业效用。
-
优化Transformer推理：更快、更便宜的大模型技术
大型Transformer模型因其巨大的内存占用和计算成本，给推理带来了显著挑战，这些成本随输入长度呈二次方增长。研究人员和从业者正在探索各种优化技术来缓解这些问题。这些方法包括网络压缩策略，如剪枝、量化和知识蒸馏，以及架构改进和高效并行。目标是减少内存使用、计算复杂度和推理延迟，以实现实际的大规模部署。
-
研究人员推进贝叶斯优化以实现高效决策和超参数调整
近期几篇arXiv论文探讨了多臂老虎机问题的进展，这是一个在不确定性下进行序贯决策的框架。研究内容包括处理“闪烁多臂老虎机”中变化的动作可用性，以及在不严格假设上下文多样性的情况下改进逻辑老虎机的遗憾界限。其他工作则侧重于几何感知离线到在线学习、图上平滑函数的谱老虎机，以及广义线性上下文老虎机的隐私保护算法。