text-embedding-3-small
PulseAugur coverage of text-embedding-3-small — every cluster mentioning text-embedding-3-small across labs, papers, and developer communities, ranked by signal.
6 天有情绪数据
-
Google发布EmbeddingGemma 2多模态嵌入模型
Google DeepMind发布了EmbeddingGemma 2,这是一款新推出的开源多模态嵌入模型,能够将文本、代码、图像、视频和音频处理到单个共享嵌入空间中。这个拥有10亿参数的模型支持100多种语言,具有8,192个token的上下文窗口,并专为搜索、检索和RAG系统等设备端应用而设计。在MMTEB v2和CrossCodeBench等多个检索基准测试中,EmbeddingGemma 2的表现优于多个领先的商业和开源模型。
-
AI青蛙项目利用OpenAI和Claude模型打造互动体验
一位开发者创造了一个名为James的互动AI角色,这是一只生活在玻璃缸里的虚拟青蛙,根据不同版本,它由不同的语言模型驱动。一个版本使用OpenAI的`text-embedding-3-small`作为记忆,根据相关性和时效性存储和回忆经历,每日费用上限为10美元。另一个版本使用Anthropic的Claude模型(Haiku用于思考,Sonnet用于个性更新)来影响青蛙的行为和日记条目,每日预算严格控制在3美元以内,并包含用户互动的内…
-
RAG管道成本:LLM生成占基础设施支出的主导地位
估算生产环境检索增强生成(RAG)管道的基础设施成本表明,LLM生成占了大部分费用,通常是总账单的78-84%。虽然嵌入语料库相对便宜,即使是大型数据集也是如此,但持续的成本是由查询处理驱动的,包括嵌入用户问题、向量搜索、重新排序,最后将检索到的信息发送给LLM生成答案。通过优化检索过程,向LLM发送更少、更相关的块,而不是仅仅关注更便宜的向量数据库解决方案,可以最好地实现节省。
-
嵌入模型是模式决策,而非配置值,需要仔细规划
为AI应用程序选择嵌入模型是一个关键的模式决策,而不是一个简单的配置选择。用于嵌入数据的模型决定了其含义,而稍后切换模型需要重新嵌入所有存储的数据,类似于数据库迁移。通过进行自定义评估而不是仅仅依赖排行榜可以提高性能,因为模型在不同的任务中表现出色。此外,理解模型特定的要求,如前缀、输入类型和最大令牌长度,对于获得最佳性能和避免静默降级至关重要。
-
嵌入模型升级可能会悄无声息地破坏 AI 检索系统
升级嵌入模型可能会在不抛出错误的情况下悄无声息地破坏检索系统。当新查询向量由与用于现有文档向量的模型不同的模型生成时,就会发生这种情况,导致它们的坐标空间不对齐。因此,相似性搜索会返回不相关的结果,并且标准监控工具由于索引保持功能正常且查询错误率为零而无法检测到该问题。开发人员必须实施特定的检查以确保向量兼容性并衡量检索相关性,以防止这些无声的故障。
-
AI代理的轨迹缓存通过精确匹配策略避免了有害的写入操作
一种新的AI代理语义缓存方法,称为轨迹缓存,已被开发出来,以解决与模糊匹配命令相关的风险。与存储文本的传统语义缓存不同,轨迹缓存存储工具调用序列。主要担忧是,工具操作的近匹配可能导致意外且可能有害的操作,例如在请求激活时停用用户。为了缓解这种情况,Pomerene系统实施了一项严格的策略:涉及写入操作的轨迹仅在命令和上下文完全重复时提供,而只读轨迹仍然可以使用模糊匹配。
-
开发者概述将网站转换为 Markdown 的 RAG 管道
一位开发者概述了一个将网站内容转换为干净 Markdown 的管道,与原始 HTML 相比,这种格式对于检索增强生成 (RAG) 系统更有效。该过程涉及使用 Apify actor,特别是 `website-content-crawler`,将内容提取并格式化为 Markdown。然后,可以直接使用此 Markdown 来生成嵌入并将其存储在向量数据库中,与处理 HTML 相比,可显著减少 token 使用量。
-
语义嵌入在工具召回方面比词汇匹配有显著改进
一项在Azure OpenAI上使用text-embedding-3-small进行语义检索与BM25词汇匹配的再战实验,揭示了工具召回率的显著提高,尤其是在释义请求方面。虽然BM25在释义查询上的召回率仅为5%,但text-embedding-3-small达到了76%,展示了语义理解的力量。实验还发现,详细的工具描述与语义检索更有效,并且每个工具的简洁别名句子可以实现近乎完美的召回率,从而在某些场景下降低了检索器选择的重要性。
-
OpenAI 的 text-embedding-3-small 在新模型发布后仍受欢迎
尽管发布了更新的模型,OpenAI 的 text-embedding-3-small 模型仍然被广泛使用。这表明该较小模型为许多应用提供了性能和成本效益的引人注目的平衡。其持续受欢迎表明,除了原始能力之外,效率和可访问性等因素在人工智能领域的模型采用中至关重要。
-
RAG系列解释了嵌入和调试陷阱 · 跟踪了5个来源
检索增强生成(RAG)系列的第一部分解释了嵌入,将其视为文本含义的数值表示,其中相似的含义对应于附近的向量。它强调了来自OpenAI和Google等公司的不同嵌入模型在向量维度和对RAG系统性能的影响方面存在差异,尤其是在跨语言方面。该系列还触及了在调试时使用准确的作业ID和日志的重要性,并警告不要依赖可能无法反映最新状态的重试作业的模型输出。
-
RAG 流水线问题:BGE-Reranker 在 512 个 token 时截断关键数据
一位开发者在使用检索增强生成(RAG)流水线时遇到了问题,其中一个交叉编码器重排序器,特别是 BAAI/bge-reranker-base,正在截断相关信息。该重排序器设计用于处理最多 512 个 token 的查询和段落对,但由于其 BERT 风格的架构和 Hugging Face 的 longest_first 截断策略,它会截断较长段落的末尾。这导致关键信息(通常位于文档末尾,如解决方案步骤)被丢弃,从而导致答案不正确。开发者建…
-
RAG 聊天机器人置信度分数未能可靠地指示答案的可回答性
最近对检索增强生成 (RAG) 聊天机器人的分析显示,依赖检索置信度分数来确定何时转交人工或承认无知是一种不可靠的策略。一项使用 RAG 系统、OpenAI 的 text-embedding-3-small 模型和 Qdrant 作为向量数据库的实验表明,可回答问题和不可回答问题之间的相似度分数存在显著重叠。即使选择了合适的阈值,系统也经常无法正确识别可回答的问题,导致不必要的人工转交或给出薄弱、捏造的答案。
-
使用不同提问方式测试 RAG 系统性能
通过三种方式重新表述查询:原始、通俗语言和简洁语言,来测试检索增强生成(RAG)系统回答问题的能力。该系统使用 OpenAI 的 text-embedding-3-small 将问题向量与文档向量进行比较,检索最相关的五个段落供语言模型使用。实验发现,通俗和简洁的表述有时会将相关段落挤出前五名,从而影响模型回答的能力。删除重复段落和混合搜索方法并未带来预期的改进。
-
使用本地向量存储自托管 mem0 Agent Memory Framework
本教程演示了如何通过将 mem0 Agent Memory Framework 的默认云组件替换为本地替代品来对其进行自托管。它指导用户配置 mem0 以使用 Ollama 来满足其 LLM 和嵌入需求,并使用 Actian VectorAI DB 作为向量存储。此设置对于生产环境至关重要,特别是对于数据无法离开机器的隔离或本地网络。该过程涉及安装必要的 Python 包并为 VectorAI DB 设置 Docker 容器。
-
新的笑话幽默度量标准显示出潜力,尽管预测准确性不佳
研究人员探索了笑话中双关语的语义距离,此前有研究表明,幽默感随着相关词语的频率和稀有度以及概念之间的歧义和意义距离的增加而增加。该研究使用 OpenAI text-embedding-3-small 和 MiniLM all-MiniLM-L6-v2 这两个嵌入模型对笑话数据集进行分析,发现基于提出的度量标准训练的模型在预测幽默度评分方面表现不佳。然而,新引入的对称性度量标准与评分较高的笑话之间存在一致的关联,表明它可能是幽默感的必要组成部分。
-
AI邮件助手未能识别不当回复,仍保持高度自信
一个名为InboxSync的个人RAG系统,旨在帮助销售人员回复邮件,出现了一个严重缺陷:即使面对不当或超出范围的输入,其置信度得分也始终保持很高(0.85)。该系统对垃圾邮件、自动回复、表示不感兴趣的邮件,甚至GDPR数据删除请求都生成了听起来很自信的回复,带来了重大风险。这一失败凸显了AI系统在没有适当人工监督或健全安全检查的情况下,自信地基于错误假设采取行动的危险性。
-
新的RAG架构应对多跳推理和沟通对齐
两篇新的研究论文提出了大型语言模型检索增强生成(RAG)的改进。第一篇,SAG,引入了一种新颖的架构,将文档组织成一个事件-实体索引,从而实现动态的、查询范围内的邻域,以提高多跳推理和在HotpotQA和MuSiQue等基准上的QA性能。第二篇,TA-RAG,概念化了一个架构框架,该框架在事实准确性之外优先考虑沟通对齐,解决了上下文分离和共情框架失败等问题,尤其适用于社会敏感应用。
-
通过强化学习进行的文档优化可提升小型模型的检索性能
研究人员开发了一种新颖的文档优化技术,使用强化学习(特别是GRPO)来提高检索质量。该方法对语言模型进行微调,将文档转换为更符合目标检索器预期查询分布的表示,并以检索改进作为奖励。将此方法应用于OpenAI的text-embedding-3-small模型,在代码和视觉文档检索任务上显著提升了性能,甚至优于更大的text-embedding-3-large模型。该技术在与Jina-ColBERT-V2等模型的微调结合时也证明了有效性,…
-
Vector Engine 为 Dify 和 Cursor 集成添加冒烟测试
本教程介绍 Vector Engine API 网关的冒烟测试,旨在确保在与 Dify 知识工作流和 Cursor 助手集成之前配置正确。该测试验证嵌入路由和聊天补全路由是否都使用指定的模型、基础 URL 和 API 密钥正常工作。通过实施此测试,开发人员可以防止出现聊天请求成功但由于配置错误导致嵌入路由失败的问题,这可能导致检索过程中出现更难诊断的错误。
-
开发者详述生产RAG管道的挑战和成本优化
一位开发者详细介绍了在使用GPT-4构建一个每天处理超过10,000份职位列表的生产级系统时遇到的挑战和解决方案。初始设置遇到了速率限制和低效的重试逻辑,导致显著延迟和成本增加。关键优化包括采用两阶段分块策略以更可靠地提取结构化数据,选择成本更低的text-embedding-3-small模型而非大型版本,以及利用OpenAI的Batch API通过接受延迟来降低63%的成本。