nginx
PulseAugur coverage of nginx — every cluster mentioning nginx across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
工程师手工构建自定义 RAG 聊天机器人管道，绕过框架
一位后端和系统工程师为自己的个人作品集开发了一个检索增强生成（RAG）聊天机器人，他选择完全手动用 TypeScript 编写整个管道，而不是使用 LangChain 等框架。这种方法允许对系统组件进行更大的控制，例如使用手工策划的关键字进行检索，而不是不透明的嵌入，从而可以直接编辑数据进行更正。该系统还被设计为一个可参数化的数据驱动平台，通过管理面板支持多种语言和可配置的助手行为，并已在虚拟专用服务器上实时部署。
-
Linux `tac` 命令为安全和 DevOps 提供强大的日志分析功能
Linux 中的 `tac` 命令，常被忽视，仅仅是 `cat` 的反写，是强大的日志分析和事件响应工具。通过反转日志条目顺序，`tac` 将最新事件置于终端顶部，显著加快了在活跃事件中识别根本原因的过程。本教程涵盖了其在检测暴力破解攻击、重建时间线以及分析 `syslog` 和 `auth.log` 等各种日志类型中的应用。
-
Kubernetes 和 Envoy AI Gateway 简化 AI 工作负载管理
文章讨论了 MLOps 的实现和架构，重点关注使用 Kubernetes 运行大规模 AI 工作负载。关键主题包括在 Kubernetes 上使用 KServe 进行模型服务，以及开发 Envoy AI Gateway 作为管理各种 LLM 流量的解决方案。Envoy AI Gateway 旨在通过抽象 API 调用、计费和响应流的差异，来标准化与 OpenAI、Anthropic 和 Bedrock 等不同 LLM 提供商的交互。
-
开发者在最小硬件上构建高性能搜索微服务
一位开发者详细介绍了如何创建一个高性能搜索微服务，该服务旨在处理包含一百万件商品和每日超过1500万次请求的产品目录。该服务使用OpenSearch、Redis和PostgreSQL等组件构建，在最小硬件（2个CPU核心、12 GB RAM）上实现了大约每秒180次搜索。作者强调，虽然AI可以快速生成代码，但关键的工程挑战在于构建一个健壮的系统和做出承载负载的决策，而这是AI目前无法复制的。
-
使用Nginx保护自托管AI：TLS、身份验证和网络隔离
本文详细介绍了如何通过使用nginx作为反向代理来保护自托管AI部署。文章强调了自托管AI模型的独特安全挑战，例如暴露的推理端点以及泄露敏感数据或模型权重的风险。该指南建议将Ollama和vLLM等AI推理服务器仅绑定到localhost接口，并配置nginx来处理TLS加密、身份验证和网络隔离，从而创建一个强大的安全层。
-
用户在Tor网络上部署了彩虹“Hello world!”站点
一位用户成功创建并部署了一个包含彩虹“Hello world!”动画的Tor洋葱站点。该站点运行在一个专用容器中，Tor密钥存储在持久卷中，nginx已配置为运行。Tor服务已完全引导，并且可以通过提供的.onion地址访问该站点，该地址可以使用Tor浏览器打开。
-
开源 Dify 平台简化 LLM 应用开发和部署
本指南详细介绍了 Dify 的部署，这是一个用于构建 LLM 应用的开源平台。它涵盖了使用 Docker Compose 设置 Dify、配置带有 Let's Encrypt 的域名以实现安全的 HTTPS 访问，以及连接到 OpenAI 和 Anthropic 等各种模型提供商。指南还介绍了使用 Dify 的可视化工作流编辑器创建基本的支持聊天机器人，启用内存以进行上下文管理，以及发布应用程序。
-
开发者分享 LLM 调用超时、重试和 token 限制的关键基础设施技巧
一位学生开发者分享了围绕大型语言模型 (LLM) 构建健壮应用程序的实用见解，强调了那些常被忽视的“枯燥”基础设施。主要收获包括实施适当的超时以防止请求挂起和不必要的成本，理解不同错误类型的细微重试逻辑，以及主动管理输入 token 限制，尤其是在检索增强生成 (RAG) 场景中，以控制费用并防止意外超限。
-
LLM 网关与网络代理：理解 AI API 安全差异
网络代理与 LLM 网关之间的区别对于 AI API 安全至关重要，因为 LLM 网关拥有超越典型网络代理的能力。虽然两者都涉及客户端、中间件和上游服务，但 LLM 网关能够理解和处理请求的内容，从而实现动态模型切换和令牌计数等功能。网络代理默认在传输层运行，不检查请求正文的含义。这种差异在构建 AI 模型中间件时，会影响安全模型、访问控制、日志记录和路由策略。
-
AI 代理通过新的 MCP 工具获得结构化数据能力
开发人员可以通过集成专门的工具来增强 AI 代理，例如 UserStack 用户代理查找 MCP 服务器，来处理用户代理字符串等复杂数据。这种方法超越了 Claude 和 Cursor 等通用 LLM 的局限性，这些 LLM 在面对非结构化数据时可能会出现幻觉或猜测。通过让 AI 代理直接访问结构化情报，工程师可以通过自然语言对话大规模地执行生产日志的高级分析、识别机器人活动、调试前端不一致性以及进行技术审计。
-
自托管AI安全清单：TLS、Ed25519 JWT和网络隔离
本文提供了一份全面的自托管AI系统安全加固清单，重点关注传输层安全（TLS）、身份验证和网络隔离。文章强调了实施强大安全措施的关键需求，详细介绍了如何使用现代协议和强密码套件强制执行TLS终止，以及如何有效管理证书。该指南还提倡使用Ed25519进行JSON Web Token（JWT）签名，因其相比RSA具有更优越的安全性和性能，并概述了网络隔离策略，例如将AI内核绑定到localhost以及使用Nginx作为反向代理堡垒机。
-
FLOSS社区开发技术防御措施以应对LLM代码抓取
自由和开源软件（FLOSS）社区正在制定策略，以保护其代码不被未经同意用于训练大型语言模型（LLM）。Codeberg等平台正在实施限制自动抓取的政策，超越法律措施转向技术防御。这包括先进的机器人识别技术、用于降低训练数据质量的数据投毒策略，以及通过要求仓库进行身份验证访问来加强架构。
-
Liath 嵌入 Lua 以实现数据库内 RAG 和逻辑执行
Liath 是一个新推出的嵌入式键值存储，其独特之处在于集成了 Lua 作为查询语言，允许开发者直接在数据库内部执行逻辑。这种方法最大限度地减少了应用程序和数据库之间的数据往返，这对于检索增强生成（RAG）等复杂操作尤其有利。Liath 支持 LevelDB 和 RocksDB 等可插拔的存储后端，其插件系统支持向量嵌入和 LLM 集成等功能，所有这些都可以从 Lua 脚本中访问。
-
指南：使用Laravel部署AI应用需要服务器调优
本文为开发者提供了关于如何有效部署使用Laravel构建的AI驱动应用程序的技术指南。它强调了由于长时间运行的LLM调用而产生的常见服务器端问题，例如超时和逐个令牌的响应，这些问题会破坏PHP和Nginx中的默认配置。该指南强调了使用队列作业进行LLM交互的重要性，以防止Web请求工作进程被占用，从而确保更流畅的用户体验并避免昂贵的重试。
-
开发者推出开源网关以管理LLM成本和复杂性
两位独立开发者创建了开源解决方案，以管理直接集成大型语言模型（LLM）（如OpenAI的模型）所带来的成本和复杂性。CostLLM使用Python和FastAPI构建，提供虚拟API密钥以进行精细成本跟踪、预算控制和速率限制等功能。Bifrost是另一个网关，旨在为LLM基础设施提供统一的解决方案，解决直接API调用带来的可靠性、成本超支、性能瓶颈、治理和供应商锁定等挑战。
-
Ember.js 为更广泛的 MCP 服务器堆栈中的嵌入式应用提供支持
作者详细介绍了他们使用 Ember.js 为其嵌入式应用程序构建 MCP 服务器的经验。虽然 Ember.js 为 MCP 应用提供支持，但整体服务器基础设施依赖于更广泛的堆栈，包括 Kubernetes、Starlette 和 Django REST Framework。作者强调了 Ember.js 的 "gjs" 文件格式对 AI 的兼容性、快速的 Vite 构建系统以及用于共享组件和配置的便捷的 monorepo 结构。然而，他…
-
WebSocket 面临扩展限制；AWS 和 Redis 提供解决方案
WebSocket 虽然简单，但由于其有状态和持久的特性，在扩展方面存在挑战，每个连接都会消耗大量的服务器资源，如内存和 CPU。这种资源消耗几乎与用户数量成线性增长，对于需要支持数万并发连接的应用程序来说，很快就会成为瓶颈。为了解决这个问题，架构通常涉及使用 Nginx 等反向代理将连接分布到多台服务器上，并使用 Redis Pub/Sub 层在实例之间同步消息，将问题转化为分布式系统挑战。
-
eBPF 套接字转向扩展了用于 HTTP/3 连接迁移的 QUIC 入口
本文详细介绍了如何扩展 QUIC 入口以支持 HTTP/3 连接迁移，这是客户端更改 IP 地址时出现的挑战。传统的 UDP 代理依赖于客户端 IP 和端口的哈希，当客户端 IP 更改时会失败，导致数据包丢失。解决方案是使用 eBPF（扩展 Berkeley 数据包过滤器）在内核级别转向 QUIC 连接，使其即使在客户端网络路径发生变化时也能保持连接。这种方法利用了 Linux 内核功能，并被提出作为对简单 UDP 代理部署的修复。
-
开发人员修复了由分块编码引起的 MCP 服务器宕机问题
一位开发人员在他们的 MCP 服务器上遇到了严重问题，由于分块编码和 Content-Length 标头的问题，经历了 91 次生产宕机。核心问题源于 Spring Boot 的默认流式处理行为（分块编码）与各种 MCP 客户端和代理（如 Nginx、Cloudflare 和 Fly.io）在内容总长度未知时处理响应的方式不匹配。这导致客户端挂起、响应不完整以及意外的流结束，尤其是在反向代理进行响应缓冲时。该开发人员通过为 MCP 服…
-
DevOps挑战第15天：NGINX SSL设置
此条目是DevOps百日挑战的一部分，具体是第15天。当天的任务是为NGINX安装设置SSL。作者正在记录他通过此挑战的进展。