Hamel Husain
PulseAugur coverage of Hamel Husain — every cluster mentioning Hamel Husain across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
AI 测试从黄金字符串转向基于属性的评估
有效测试 AI 输出需要评估其属性,而不是依赖单一的、精确的字符串匹配。这种方法承认对于同一个提示可以生成多个正确答案。推荐的方法包括创建测试用例数据集,优先考虑从观察到的失败中提取的用例,并结合使用基于代码的检查和评分标准进行评估。这确保了 AI 回复是基于事实的、遵循指令的、在范围内且避免不安全内容的,并设置了基线通过率来控制发布。
-
专家表示,RAG系统的检索组件是一个搜索问题
检索增强生成(RAG)系统经常出现错误答案,因为检索组件未能向语言模型提供必要的信息。专家 Hamel Husain 和 Shreya Shankar 强调,RAG 的检索部分本质上是一个搜索问题。为了解决这个问题,作者开发了一个受控演示,用于独立于语言模型衡量检索性能,重点关注召回率和精确率等指标。这种方法通过隔离检索问题,可以加快 RAG 系统的反馈周期并更好地进行调试。
-
AI 评估必须超越指标以建立信任
构建 AI 代理和功能需要仔细评估,超越简单的指标。开发人员应就评估分数的来源和可靠性提出关键问题,确保它们与现实世界的失败相关联并由领域专家批准。通用仪表板可能会造成虚假的进展感,了解测试用例的来源、谁定义了“好”的输出以及人工标注者或评分模型之间的一致性程度至关重要。
-
LLM裁判存在偏见;这里有3种修复方法
基于LLM的裁判虽然在评估AI模型性能方面很有用,但可能表现出位置、冗长和自我偏好等偏见,导致评估不准确。为了减轻这些问题,开发人员可以实施策略,例如运行两次交换答案的成对比较来检测位置偏见,使用详细的评分标准进行通过/失败决策以对抗冗长偏见,并将LLM裁判的输出与人工标记数据进行比较以确保准确性。这些方法有助于确保LLM裁判衡量的是预期的标准,而不是被回应的表面特征所左右。
-
AI工程最佳实践:从演示到生产 · 跟踪1个来源
“Chain of Thought”系列中的五个案例为AI工程师提供了从演示到生产的实用建议。主题包括:具有大量token使用的Agent优先工作流、系统架构比模型选择更重要,以及可靠AI应用的工程实践。讨论强调测试是新的代码审查,上下文工程和特定领域错误分析比追求虚荣指标更重要。
-
评论者批评 Anthropic 的 Claude Code 自动评估工具
Hamel Dev 发布了对 Anthropic 新推出的 Claude Code 自动评估工具的评测,指出了其优缺点。该工具集成到 claude-api 插件中,旨在帮助开发者构建和优化其应用程序的评估。虽然该工具展示了发现各种问题的强大能力,包括人工交接和格式问题,但评论者认为其工作流程过于刻板,要求用户在分析数据和验证判断之前创建评估,而缺乏足够的上下文。评论者还建议评估器的范围过于宽泛,将多种失败类型捆绑到单一评估中。
-
AI模型评分:四级制提供可操作的见解,优于二元制
作者讨论了AI模型评分方法上的差异,将自己使用的四级制(FATAL、RISKY、MISSED、HARMLESS)与Hamel Husain推荐的二元制(好/坏)评分进行了对比。Husain认为细粒度评分由于模糊性和缺乏可操作的见解而不可取,但作者认为自己命名的四级制提供了关键的区别。该系统允许在模型发布、工具退役和更换方面做出具体决策,而简单的二元制或平均分数会掩盖这些信息。
-
AI作者Sonnet 5生成了完美的考题,但缺乏人类的创造力
一项实验显示,AI作者Sonnet 5在根据提供的数据和指令生成考题方面表现完美,而其人类对手则犯了多个错误。然而,AI的输出虽然技术上正确,却缺乏人类生成考题中那种创造力和变化性,过于僵化地遵循提示的结构并重复使用内容。这表明,虽然AI在遵循特定指令方面可以非常准确,但在人类在内容生成中带来的细微、涌现的创造力方面却存在困难。
-
LLM识别出自动化考试评分器中的错误
在他们的自动化代码评分器出错后,一个人使用了一个LLM(特别是Sonnet 5)来重新批改一份考试。LLM的任务是根据规则手册对29份答卷进行评分,并将其结果与代码评分器进行比较。虽然两者在27份试卷上达成一致,但LLM发现了代码评分器不正确的两个实例,这表明它对答案有更细致的理解。
-
OpenAI 的 Jalapeño 芯片声称效率提升;智能体系统演进
OpenAI 发布了其定制推理芯片 Jalapeño 的基准测试细节,声称与英伟达的 GB200 和 GB300 系统相比,在效率和延迟方面有显著提升。该芯片据称提供更高的每瓦性能和更低的延迟,预计将于年底部署。同时,智能体框架(agent harnesses)和记忆系统正演变为一等组件,新的研究和开源项目专注于结构化智能体优化、持久化智能体和企业级基础设施。这一转变表明智能体系统正朝着更强大、更适应性的方向发展,框架设计与模型选择同等重要。
-
AI工程师路线图:12个YouTube视频助您成为世界一流
为有志于在2026年成为世界一流AI工程师的人士精选了12个YouTube视频。该列表涵盖了大型语言模型(LLMs)、Transformer架构和分词等基础概念,并汇集了该领域知名人士的见解。此外,还包括了关于实际应用、可解释性、智能体构建以及用于推理的强化学习的资源。
-
AI“工程”术语如循环和图工程引发争议
“循环工程”和“图工程”等术语最近在AI讨论中受到关注,这在很大程度上归功于病毒式传播的社交媒体帖子。然而,一些人认为这些术语是对现有概念(如“提示工程”和“上下文工程”)的演变或重命名。虽然学科的快速重命名是幽默和评论的焦点,但也凸显了AI能力讨论和开发方式的真实(尽管被过度炒作)转变,即使对于那些没有巨额预算的人来说也是如此。
-
专家称AI产品评估难度大表明设计存在缺陷
Hamel Husain 认为,评估AI产品的困难是一个重大的产品缺陷。他建议,如果产品连其开发者都难以验证,那么用户很可能也会觉得困难。Husain 提倡从一开始就设计具有内置可验证性的AI产品,并以AI数据代理为例进行了说明。他主张向用户提供可检查的工件和详细分析,而不仅仅是最终答案,以便用户能够进行独立验证。
-
数据科学家的核心技能对于AI工程和评估至关重要
随着大型语言模型的兴起,数据科学家的角色正在演变,从直接的模型训练转向专注于指导AI系统的“驾驭”。虽然基础模型API减少了对传统预测建模的需求,但设置实验、调试复杂系统和设计有效指标等关键任务仍然至关重要。作者认为,这些基本职能本质上是数据科学工作,需要深入理解数据和定制化评估,而不是依赖通用的、现成的指标。
-
AI 编码工具扰乱 nbdev 工作流程,促使开发者转变
曾是文学编程工具 nbdev 支持者的 Hamel Husain,由于 AI 编码助手的兴起而停止使用它。他发现 nbdev 独特的、将代码、文档和测试结合在 Jupyter Notebook 中的工作流程,与 AI 工具的训练和运行方式存在冲突。Husain 现在更喜欢 Amp、Cursor 和 Claude Code 等与 AI 集成更好、允许更灵活语言选择的工具,从而摆脱了所有任务都以 Python 为中心的做法。
-
技术作者分享通过AI内容建立受众的策略
技术作者 Hamel Husain 分享了建立受众的策略,强调与他人作品进行真实互动和持续内容创作。他建议开发者为现有讨论增加价值,并强调刻意练习和提高文案写作技巧的重要性。Husain 还建议利用 AI 工具来简化内容创作并建立一个从语音到内容的管道。
-
ML工程师Hamel Husain分享LLM构建见解和评估重点
经验丰富的机器学习工程师Hamel Husain分享了从一年多的构建大型语言模型(LLM)的经验中获得的见解。他强调了“评估”(evals)在调试、分析和衡量AI系统方面的重要性,这得益于他在Airbnb和GitHub等公司的背景以及与OpenAI的合作。Husain还为工程师和产品经理开设了AI评估课程,吸引了包括OpenAI、Anthropic和Google在内的多家公司的4500多名学生。
-
Hamel Husain 提出使用对抗性验证进行 AI 漂移检测
Hamel Husain 提出了一种称为对抗性验证的技术,用于检测 AI 模型输入和训练数据中的漂移。该方法涉及训练一个二元分类器来区分两个数据集,例如训练数据与生产数据,或不同时间段的数据。如果分类器能够准确地区分这些数据集,则表明存在漂移,这可能导致评估失真或模型行为意外。Husain 还引入了一个名为 `ft_drift` 的命令行工具,以帮助使用 OpenAI API 检测微调模型中的提示模板和模式漂移。
-
专家称AI产品成功取决于强大的评估体系
根据曾领导CodeSearchNet团队的Hamel Husain的说法,构建成功的AI产品需要一个强大的评估体系。他强调,快速迭代,包括质量评估、调试和系统更改,是AI产品开发的关键。Husain提出了一种三层评估方法:单元测试、模型和人工评估以及A/B测试,其中单元测试最为频繁且成本效益最高。
-
Hamel Husain 为AI产品团队提供关于选择评估工具和构建健壮系统的建议。
AI顾问Hamel Husain强调,在开发成功的AI产品时,构建健壮的评估系统至关重要,他借鉴了CodeSearchNet和Rechat的AI助手Lucy等项目的经验。他认为,通过有效的评估、调试和修改流程实现的快速迭代是AI产品成功的关键。Husain强调了三个层面的评估:单元测试、模型和人工评估以及A/B测试,并强调简化评估流程对于持续改进至关重要。