PulseAugur
中
实时 15:24:35
实体 pytest

pytest

PulseAugur coverage of pytest — every cluster mentioning pytest across labs, papers, and developer communities, ranked by signal.

Show in brief
总计 · 30天
38
90 天内 84
发布 · 30天
0
90 天内 0
论文 · 30天
0
90 天内 1
层级分布 · 90 天
主题
关系
情绪 · 30 天

18 天有情绪数据

LAB BRAIN
observation resolved confirmed 置信度 0.60

pytest dependency updates in LangChain integration indicate broader ecosystem adoption

LangChain's recent update to its fireworks integration explicitly mentions updates to pytest. This signals that pytest is a relevant dependency within the broader AI/LLM ecosystem, particularly for tools that interact with or build upon LLM frameworks. This could imply increased usage of pytest in projects that are developing or integrating with LLM-based applications.

hypothesis resolved confirmed 置信度 0.70

pytest to be integrated into AI-powered code generation tools for enhanced deterministic testing

Recent evidence shows AI code generation guides emphasizing specific testing libraries like pytest for Python. This suggests a growing trend of integrating AI with deterministic testing frameworks. Future AI code agents may increasingly leverage pytest to generate more reliable and verifiable unit tests, reducing the need for manual test writing and debugging.

查看全部假设 →

最近 · 第 1/5 页 · 共 88 条
  1. TOOL · CL_368794 ·

    将 LLM 提示视为代码以提高可靠性

    本文提出将大型语言模型 (LLM) 提示视为代码,以提高开发和可靠性。它建议将提示从业务逻辑中移出,放入单独的、版本化的文件中,从而实现更轻松的跟踪、差异比较和回滚。作者还建议创建带有基于属性断言的小型评估集来捕获回归,通过拉取请求审查提示更改,并将模型设置与提示一起存储。这些实践旨在将提示工程转变为更系统化、可验证的工程学科。

  2. TOOL · CL_364671 ·

    Braintrust Ai vs. LangSmith: 选择一个 AI 代理评估平台

    Braintrust Ai 和 LangSmith 都是用于评估和观察 AI 代理的综合平台,在工作流程、定价和特定功能方面存在关键差异。Braintrust 强调以实验为中心的评估,将数据、任务和评估者视为核心组件,并提供按数据和分数计费的无限用户。LangSmith 则与 LangChain 和 LangGraph 框架更紧密地集成,提供按席位定价以及针对延迟、成本和错误的运营警报。两个平台都支持跟踪多步代理并接受 OpenTel…

  3. TOOL · CL_364546 ·

    Claude Code 提示:为效率而结构化

    本文提供了一份指南,介绍如何为 AI 编码助手 Claude Code 创建更有效的提示。作者建议将提示结构化为两个不同的块:“要提供的上下文”部分,用于语言、测试命令和范围等基本、不可猜测的信息,以及用于特定任务的“正文”部分。这种先提供上下文的两块方法有助于 Claude Code 更好地理解约束,并减少迭代修正的需要,从而为重复性编码任务节省大量时间。

  4. TOOL · CL_364476 ·

    LLM幻觉测试:事实核查和自洽性检查

    本文介绍了两种实用的LLM幻觉测试方法,无需付费法官模型或API密钥。第一个测试是事实核查,验证答案中出现的任何数字是否也存在于提供的上下文中。第二个测试是自洽性,涉及多次运行相同的提示,并测量提取事实的一致性,以检测猜测或漂移的答案。这些方法旨在捕捉常见且令人尴尬的幻觉,特别是涉及数字的上下文幻觉,并帮助确定何时值得花费法官模型的费用。

  5. TOOL · CL_360698 ·

    Python LLM 网关通过缓存和路由将成本降低 82%

    一位开发者概述了一个基于 Python 的网关,用于优化 LLM 成本,模拟日常支出从 80.37 美元减少到 14.52 美元,降幅为 81.9%。该方法包括实现按请求的 Token 日志、每日用户预算、上下文修剪、Prompt 和响应缓存、模型路由以及使用 Batch API 等功能。虽然准确性从 99.96% 略微下降到 99.84%,但成本节约显著。

  6. TOOL · CL_360576 ·

    在 CI 中自动化 LLM 提示注入测试

    一种新方法将提示注入测试直接集成到使用 pytest 和 GitHub Actions 的持续集成 (CI) 管道中。这种方法通过将攻击提示视为 CSV 文件中的数据来自动化检测提示注入漏洞。每个攻击提示都旨在从 LLM 中引出特定的秘密标记字符串(一个金丝雀);如果金丝雀出现在模型的输出中,则测试失败,表明注入成功并停止构建。

  7. TOOL · CL_356472 ·

    AI Agent Python 课程提供 8 折优惠,采用测试驱动方法

    一门专注于 AI Agent 的自定进度 Python 课程,使用 AGENTIC20 代码可享 8 折优惠。该课程强调测试驱动方法,目标是在完成时通过 150 多个 pytest 测试。此优惠截至 11 月 16 日星期一结束。

  8. TOOL · CL_356447 ·

    使用 Pytest 测试 LLM 工具调用

    本教程详细介绍了如何为处理大型语言模型 (LLM) 工具调用的代码构建一个健壮的测试套件。它利用 Python、pytest 和 pydantic 创建确定性测试,以验证工具的正确选择、参数的验证、执行顺序和错误处理。该测试框架旨在通过模拟 LLM 客户端并专注于代理的绑定逻辑来捕获可能在生产环境中出现的问题,例如不正确的工具使用或意外的失败。这些测试旨在快速运行,并通过 GitHub Actions 集成到 CI 管道中。

  9. TOOL · CL_355173 ·

    Promptfoo 和 DeepEval:两种大语言模型测试方法

    Promptfoo 和 DeepEval 是两个用于测试大语言模型(LLM)应用的开源工具,但它们的方法有显著差异。Promptfoo 使用一种与语言无关的 YAML 配置进行测试,将 LLM 应用视为一个“提供者”,并允许轻松比较多个模型或提示。而 DeepEval 是 Python 原生的,并直接与 pytest 集成,能够让测试在与应用程序代码相同的 CI 流水线中运行,并提供更丰富的 LLM 评估指标库。

  10. TOOL · CL_348176 ·

    Claude 代码 hook 在编码开始前向 AI 提供失败的测试

    一位开发者为 Claude Code 创建了一个自定义 hook,该 hook 在 AI 开始其编码会话之前自动运行失败的测试。这个名为 `red_tests.py` 的 hook 利用 pytest 来识别和报告仅失败的测试,在输入任何用户提示之前将此信息作为上下文提供给 Claude Code。该系统旨在告知 Claude Code 具体问题,使其能够更有效地解决这些问题,而无需手动输入。

  11. TOOL · CL_346955 ·

    Claude Code 权限:平衡安全与速度

    Claude Code 工具提供了一个权限系统来控制其 shell 命令的执行,允许用户定义哪些命令可以自动运行、哪些需要提示以及哪些被完全拒绝的规则。该系统旨在平衡速度与安全,防止 AI 执行潜在的有害操作。另一种选择 `--dangerously-skip-permissions` 会绕过所有权限检查,但由于存在重大的安全风险,强烈不建议常规使用,仅推荐在隔离环境中使用。

  12. TOOL · CL_346341 ·

    MLOps 指南详述 pytest 如何提升 ML 流水线测试覆盖率

    本文提供了一份使用 pytest 增强 ML 流水线测试的实用指南。文章详细介绍了如何实现单元测试、模拟(mocking)和覆盖率分析,以提高代码质量并实现更高的测试覆盖率,具体展示了从 66.36% 提升至 72.12% 的过程。重点在于 MLOps 实践,以实现健壮的机器学习开发。

  13. TOOL · CL_342687 ·

    测试框架利用已知bug验证命令行工具

    本文详细介绍了用于识别代码中bug的测试框架的创建和使用,特别关注一个名为`orders.py`的Python脚本,该脚本故意包含三个错误。该框架被称为“测试平台”,用于评估`pytest`和`Codex Cli`等命令行工具。作者解释说,使用具有已知bug的受控环境比使用具有未知问题的真实项目更能有效地验证查找bug命令的完整性。该测试平台的设计使得每个bug对应一个不同的命令路径,确保了全面的测试。

  14. TOOL · CL_340378 ·

    AI 编程 CLI 提供 5 条有效生成测试用例的规则

    本文概述了使用 `/test` 命令的五条规则,该命令是更大 AI 编程 CLI 工作流中的一项功能。首要指导原则是,在编写任何代码之前,首先根据正常路径、边缘情况和错误条件创建测试用例的综合列表。它强调测试的目的是发现错误,而不仅仅是提高覆盖率指标,并且任何未覆盖的分支都必须在最终报告中明确说明。文章还规定了不应使用 `/test` 命令的情况,例如当代码本身尚不可用或目标仅仅是虚增覆盖率数字时。

  15. TOOL · CL_340082 ·

    Claude Code指令实测:3条完美,7条需澄清

    最近对Claude Code的10条中文斜杠指令进行的测试显示,3条指令无需修改,而另外7条则需要进行微调以澄清歧义。测试在故意引入bug的模拟环境中进行,发现/plan、/review和/onboard等指令表现出色,能够识别bug并提供清晰的执行步骤。然而,/debug、/test和/refactor等指令在处理假设、文件位置和基线检查等方面需要澄清,以避免执行过程中的猜测。评估侧重于识别和修复初始指令草稿中的歧义点,确保每条指令…

  16. TOOL · CL_339855 ·

    开发者提供 CLAUDE.md 模板以帮助理解 AI 项目

    一位开发者创建了三个用于生成 CLAUDE.md 文件的模板文件,旨在帮助 AI 理解项目特定的约定,而不仅仅是通用的描述。这些模板针对不同类型的项目进行了定制:使用 VitePress 的文档站点、带有测试的 Python 脚本以及全栈 Web 应用程序。模板指导用户用实际项目细节替换占位符,确保 AI 能够准确解释目录结构、命令和特定协议,从而提高 AI 在项目管理和代码生成方面的实用性。

  17. TOOL · CL_338370 ·

    RTX Spark LLM性能:缓存加速轮次,代码可编译

    对本地运行的LLM性能进行技术深度解析,重点关注RTX Spark硬件和Ollama。分析显示,虽然热缓存显著加快了对话的后续轮次,但在不断增长的上下文窗口内处理新token的时间仍然会减慢。此外,作者验证了LLM生成的Python、TypeScript和Go代码可以编译并通过测试,尽管在注释和实现选择上存在一些细微差异。

  18. TOOL · CL_337704 ·

    开发者概述使用 AI 工具的可复现代码定型工作流

    一位开发者概述了一个可复现的代码定型工作流,集成了 Claude Code 和 Codex CLI 等工具。该过程包括三个不同的步骤:/test,需要生成测试用例列表,然后编写并运行测试以确保所有用例都通过并满足特定标准;/review,其中反馈按严重性分类,并且必须在继续之前得到解决;/commit,它根据代码差异生成标准化的提交消息,但不会自动提交。推荐的测试、审查、然后提交的顺序对于确保审查基于经过测试的代码以及提交消息准确反映…

  19. COMMENTARY · CL_335749 ·

    Python 依赖错误?Simon Willison 建议删除 uv.lock 文件

    Simon Willison 针对 Python 依赖问题提供了一个故障排除技巧,特别是在使用 Python 3.15 时。他建议在遇到错误时删除 `uv.lock` 文件,因为它有时会固定与较新 Python 解释器不兼容的依赖版本。这个简单的步骤通常可以解决与包兼容性相关的问题,例如在使用 Python 3.15 时遇到的 `watchfiles` 和 `PyO3` 问题。

  20. TOOL · CL_334493 ·

    AI 编码代理通过结构化 Pytest 日志过滤大幅减少令牌使用量

    一种处理 Pytest 日志的新方法显著减少了 AI 编码代理所需的输入令牌数量。通过过滤掉通过的测试和 ANSI 转义码,而是提供仅包含失败断言的结构化 JSON 摘要,输入令牌数量可以减少 94% 以上。这种优化在测试环境中提高了编码错误的修复速度、降低了 API 成本并提高了准确性。