text-embedding-3-large
PulseAugur coverage of text-embedding-3-large — every cluster mentioning text-embedding-3-large across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
开发者详述生产RAG管道的挑战和成本优化
一位开发者详细介绍了在使用GPT-4构建一个每天处理超过10,000份职位列表的生产级系统时遇到的挑战和解决方案。初始设置遇到了速率限制和低效的重试逻辑,导致显著延迟和成本增加。关键优化包括采用两阶段分块策略以更可靠地提取结构化数据,选择成本更低的text-embedding-3-small模型而非大型版本,以及利用OpenAI的Batch API通过接受延迟来降低63%的成本。
-
新的PI-FT方法通过忽略字段顺序来改进元数据检索
研究人员开发了一种名为置换不变微调(PI-FT)的新微调方法,以提高结构化元数据的检索准确性。传统方法将元数据字段序列化为字符串,导致检索质量依赖于字段顺序。PI-FT通过在微调过程中随机化字段顺序来缓解此问题,显著降低了字段顺序变化时的性能下降。该方法在DevDataBench基准上进行了测试,性能优于text-embedding-3-large等强大基线,并在低资源语言中表现出特别的有效性。
-
新的 SCAR 方法通过自适应分块增强 RAG 召回率
研究人员开发了 SCAR(语义连续感知检索),一种改进检索增强生成(RAG)系统的新颖方法。SCAR 通过自适应地扩展相邻分块来解决固定长度分块的问题,通过连续性惩罚来平衡查询相关性。这种方法在保持高召回率和生成忠实度的同时,显著减少了所需分块的数量,并且证明了其在不同嵌入模型之间的可迁移性。
-
SQL Server 2025 集成原生 AI,支持向量数据类型和外部模型
Microsoft 正在将先进的 AI 功能直接集成到 SQL Server 2025 和 Azure SQL Database 中,将它们转变为一流的 AI 平台。主要功能包括具有 DiskANN 索引的原生 VECTOR 数据类型,用于语义搜索,以及将外部 AI 模型(例如来自 Azure OpenAI 的模型)注册为数据库对象的能力。这使得在 SQL Server 中可以原生实现检索增强生成 (RAG),无需单独的向量数据库,从…
-
作者警告:RAG 块重叠默认值损害性能
许多检索增强生成 (RAG) 管道错误地使用了 200 个 token 的默认块重叠,这一设置因早期 LangChain 教程而普及。这个默认值虽然对通用示例很方便,但可能导致召回率下降和存储成本增加,特别是对于不需要重叠的结构化文档。作者提出了一项简单的消融研究,可以在一小时内完成,以确定特定语料库的最佳块大小和重叠度,从而提高 RAG 的性能和效率。
-
LLM 评估工具已更新,支持生产数据和对抗性测试
提出了一种评估大型语言模型(LLM)的新方法,以解决静态评估工具无法检测模型回归的问题。该方法包括每周使用真实的生产追踪数据刷新评估数据集,并按意图集群进行分层抽样,以确保代表性。此外,一个永久性的对抗性数据集,该数据集是从表明模型故障的实际客户支持票证中精心挑选出来的,在评估过程中被赋予很高的权重,以优先考虑实际性能。
-
VectorSmuggle 攻击隐藏数据于 AI 嵌入中;VectorPin 提供防御
研究人员发现了一种名为 VectorSmuggle 的新型隐写攻击向量,它允许攻击者将数据隐藏在用于 RAG 系统的向量数据库中存储的嵌入中。该方法利用了许多向量存储缺乏原生完整性控制的漏洞,使攻击者能够在保持检索功能的同时,通过简单的扰动嵌入敏感信息。为应对此问题,研究人员提出了 VectorPin,一种加密溯源协议,它使用数字签名来验证嵌入的完整性和来源,从而堵塞了此攻击向量。
-
医疗 RAG AI 失败,检索到错误的患者数据并导致 85 万美元 HIPAA 罚款
一个使用检索增强生成 (RAG) 的医疗 AI 系统因姓名和医学术语相似,错误地将一名患者的治疗建议提供给了另一名患者。该系统使用了 OpenAI 的 text-embedding-3-large 模型和 Pinecone 作为其向量数据库,在查询 John Smith 的信息时检索到了 Mary Johnson 的糖尿病病史。此错误导致了 85 万美元的 HIPAA 违规,并凸显了纯语义搜索在敏感行业中的风险。
-
向量数据库详解:它们如何工作以及它们不能做什么
本文解释了向量数据库的基本概念,这对于需要记忆和准确信息检索的AI代理至关重要。它详细介绍了如何使用嵌入模型将内容转换为数值向量,语义相似的内容映射到高维空间中的相邻点。该过程包括嵌入内容、将其与元数据一起存储,以及使用近似最近邻(ANN)算法进行索引以实现高效检索,并强调了在摄取和查询中使用相同嵌入模型的重要性。
-
OpenAI推出新的嵌入模型,降低价格并提升性能
OpenAI发布了新的嵌入模型text-embedding-3-small和text-embedding-3-large,与之前的模型(如text-embedding-ada-002)相比,在性能和效率上有了显著提升。这些新模型旨在更好地理解文本和代码中概念之间的关系,为语义搜索和检索增强生成等应用提供支持。OpenAI还在降低GPT-3.5 Turbo的价格,并更新其GPT-4 Turbo预览模型,同时还增强了开发者的API密钥管理…