Redis
PulseAugur coverage of Redis — every cluster mentioning Redis across labs, papers, and developer communities, ranked by signal.
- developed by Salvatore Sanfilippo 100%
- founded by Salvatore Sanfilippo 90%
- founded Salvatore Sanfilippo 90%
- used by Docker 70%
- used by BullMQ 70%
- uses BullMQ 70%
- authored Salvatore Sanfilippo 70%
- used by Vercel AI SDK 70%
- used by Celery 70%
- used by Upstash 70%
- developed Salvatore Sanfilippo 70%
- used by NestJS 70%
25 天有情绪数据
-
Alice Labs 开发通用信任适配器,支持策略驱动的验证
Alice Labs 正在开发通用信任适配器(UTA),这是一个旨在将加密验证与基于策略的信任决策分离开来的系统。UTA 包含一个 12 阶段的管道,初始阶段专注于纯粹的验证,后续阶段则侧重于策略执行。虽然当前版本的信任分数仅来自验证管道,但未来的更新计划纳入外部声誉和用户反馈。该系统专为性能而设计,能够在单个 Node.js 进程上处理每秒 6,744 次验证,并支持通过 Docker 和 Kubernetes 进行扩展。
-
持久化作业表模式,应对服务器重启
本教程概述了一种方法,用于防止长时间运行的模型作业在免费套餐服务器上被终止。该解决方案涉及实现一个持久化作业表,将作业执行与服务器进程分离。这种模式确保即使服务器进程被回收或终止,作业本身也能得以幸存,并可被另一个工作进程拾取。教程详细介绍了如何创建 SQLite 作业表以及一个 Python 工作进程循环,该循环会认领、执行并记录作业结果,并包含一个租约机制来处理工作进程故障。
-
作者因过度接触AI生成的工作文件而经历“AI失明”
作者描述了一种日益增长的现象,即在工作中变得“AI失明”,受Claude等AI工具影响的文件难以集中注意力进行分析。这种“失明”源于对AI生成内容的过度接触,这些内容经常使用重复的措辞,过度推销细枝末节,并且缺乏真正的意义,类似于“横幅失明”。作者认为,尽管研究表明人类不擅长检测AI文本,但低质量的AI输出具有可识别的模式,可以被识别出来,从而导致对这类内容的下意识过滤,以及生产力意外下降。
-
使用 Red Hat OpenShift 上的 Redis 优化 AI 成本
本文讨论了如何通过在 Red Hat OpenShift 上使用 Redis 来优化 AI 成本。文章建议,通过实施此解决方案,用户可以避免冗余的提示处理,并降低与 AI 模型使用相关的总体费用。
-
本地 RAG 开发优先考虑检索而非基础设施
本文提倡采用“本地优先”的方法来开发检索增强生成(RAG)系统,强调从检索而非复杂基础设施开始的重要性。作者建议使用少量真实文档和用户生成的问题来测试检索效果,并指出词汇匹配对于产品代码或名称等特定查询至关重要,而语义搜索在更广泛的上下文方面表现出色。文章还讨论了混合检索的好处,并建议在扩展到生产就绪的系统(如使用 pgvector 的 PostgreSQL)之前,在早期开发中使用像 SQLite with FTS5 这样更简单的本地数据库。
-
开发者构建AI会议记录工具,支持接入Whisper和Qwen模型
一位开发者构建了TalkToText Pro,一个AI驱动的系统,旨在自动转录和总结会议录音,生成结构化笔记。该系统使用Whisper进行语音转文本,使用Qwen大语言模型进行总结,并包含翻译、文本优化和存储在MongoDB等功能。其架构设计了AI服务的可插拔接口,允许在本地模型和基于API的模型之间轻松切换,用于转录和总结。
-
Claude AI 见证用户失误,无意中清空了生产 Redis
一位用户讲述了一起事件,其中 Anthropic 的 Claude AI 模型观察到他们在生产环境中犯了一个关键错误。当用户配置 Redis 持久化设置时,Claude 提供了一段代码,执行后无意中清空了生产 Redis 数据库。用户强调了这是一个危险的疏忽,并指出 AI 模型在敏感环境中需要对建议的潜在后果更加谨慎和警觉。
-
Anyscale 详细介绍了用于视频索引服务的 Ray Serve 异步推理
Anyscale 详细介绍了其 Ray Serve 中异步推理功能的一个实际实现,并展示了其在视频索引服务中的应用。该服务利用 Redis 或 RabbitMQ 等消息队列进行后台处理,能够高效地处理视频分析等长时间运行的任务,而不会阻塞客户端请求。该架构包括用于入口、视频消费和分块以及基于 GPU 的嵌入的独立部署,并根据队列深度和 GPU 负载进行自动扩展。
-
人工智能推理需要高效的 GPU 管理,以避免显存耗尽和碎片化
管理人工智能工作负载的 GPU 资源,特别是生成媒体和大型语言模型推理,由于其高内存和计算需求,带来了重大挑战。与传统的 Web 应用程序不同,这些任务很容易耗尽 GPU 显存,导致无法恢复的错误和作业失败。为了缓解这种情况,使用作业队列和消息代理(如 BullMQ 和 Redis)的异步架构模式对于将任务摄取与执行解耦至关重要。高效的内存管理,如 PagedAttention,以及将 KV 缓存卸载到外部存储,对于减少 GPU 空闲…
-
生产环境LLM内存系统架构详解
本文详细介绍了一个用于构建生产级LLM内存系统的实用架构,重点在于模块化整体方法而非复杂的分布式系统。文章概述了三个核心路径:写入、读取和生命周期管理。写入路径涉及持久化观察数据并异步处理成持久化内存,而读取路径则使用结构化信号和语义检索,并辅以Redis缓存和PostgreSQL作为事实来源。生命周期路径通过强化、整合和删除独立管理内存演进,旨在构建一个简单而有效的系统。
-
幂等性键可防止异步系统中的重复 LLM 请求
本文讨论了在异步处理系统中处理重复消息传递的挑战,特别是在与大型语言模型交互时。它解释说,队列通常保证至少传递一次,这意味着消息可能会被处理多次。作者建议使用由原始请求者生成的幂等性键,以确保重复操作是免费的并且不会导致意外的副作用。该键必须是稳定的,并且源自核心请求参数,而不是代理生成的 ID 或可变有效负载的哈希。该实现依赖于 DynamoDB、PostgreSQL 或 Redis 等数据存储中的原子操作,以防止多个工作进程可能尝…
-
withOhm 工具缓存相同的 LLM 提示词以降低成本和提高安全性
一位开发者创建了 withOhm,一个旨在通过缓存相同的 LLM 提示词来降低 AI 应用成本和提高安全性的工具。该系统缓存完全匹配的提示词,而非语义匹配,以避免错误,并将缓存的响应作为流式数据重放,以保持兼容性。此外,withOhm 还包含一个用于网页内容获取的合规层,在数据到达模型之前检查 robots.txt、编辑 PII 并防止 SSRF 攻击。
-
托管与自托管 AI 代理运行时:控制与便利的权衡
托管与自托管 AI 代理运行时的选择,关键在于控制和数据可见性,而非成本。托管服务负责编排、重试和扩展,提供便利,但可能牺牲数据驻留和定价可预测性。自托管提供更大的控制权和对故障行为的可见性,但需要大量的工程工作来管理状态、工具执行和重试逻辑。
-
开发者在最小硬件上构建高性能搜索微服务
一位开发者详细介绍了如何创建一个高性能搜索微服务,该服务旨在处理包含一百万件商品和每日超过1500万次请求的产品目录。该服务使用OpenSearch、Redis和PostgreSQL等组件构建,在最小硬件(2个CPU核心、12 GB RAM)上实现了大约每秒180次搜索。作者强调,虽然AI可以快速生成代码,但关键的工程挑战在于构建一个健壮的系统和做出承载负载的决策,而这是AI目前无法复制的。
-
滴滴出行高管分享14年工程经验
滴滴出行前高管分享了在公司发展过程中14年积累的工程经验。该公司最初的错误是在内部构建了过多的系统,导致架构复杂且脆弱。在一次重大促销活动导致系统大面积瘫痪后,公司迎来了一个转折点,开始转向与聚合商合作,并将重点放在定价智能而非直接集成上。该叙述还强调了管理多个预订引擎和数据库的挑战,主张进行增量迁移而非大规模重写。
-
向量搜索在处理否定和精确标识符时遇到困难
向量搜索模型难以区分关于特定实体的肯定和否定陈述,例如使用 Redis 的服务与不使用 Redis 的服务。这种局限性源于模型编码的是主题而非逻辑区分。类似的盲点也影响了精确标识符、多跳查询和时间敏感信息的搜索。解决方案包括采用混合搜索、元数据过滤和重新排序技术来克服这些固有的嵌入局限性。
-
生产级LLM应用需要MLOps:工具和基础设施详解
构建生产级LLM应用不仅需要一个功能完善的模型,还需要强大的MLOps基础设施。关键组件包括Amazon SageMaker和Databricks等模型部署工具、Kubernetes的编排以及使用向量数据库、PostgreSQL和Redis进行的高效数据管理。LangChain和Hugging Face等框架对于将这些元素集成到统一系统中至关重要,确保其可扩展性和可靠性超越简单的演示。
-
Redis 创造者为 Mac 开发开源 H3 推理引擎
Redis 的创造者 Salvatore Sanfilippo 为 MiniMax AI 的 H3 模型开发了一个开源推理引擎,该引擎针对使用 Metal 的 Mac 电脑进行了优化。此实现允许在各种硬件平台上广泛访问和修改 H3 模型。Sanfilippo 的工作已在 GitHub 上提供,其中还包含 Lvlv 的代码,可能用于 drawdrawingsapp。
-
Shopify 通过从 Redis 切换到 MySQL 来扩展库存预订
Shopify 已成功将其库存预订系统从 Redis 迁移到 MySQL。此更改是为了提高处理大量库存预订的可扩展性和性能。该公司报告称,迁移到 MySQL 被证明能有效满足其扩展需求。
-
特征存储解决了机器学习训练-服务漂移和目标泄露问题
特征存储对于生产环境的机器学习至关重要,它解决了训练和提供服务环境之间特征定义漂移的关键问题。这种漂移会悄无声息地降低模型性能,尤其是在高风险预测场景下,因为模型是在一个数据分布上训练的,却在另一个数据分布上进行评分。为了确保时间点正确性,特征存储提供了历史特征值,从而防止目标泄露并保持模型完整性。