embedding
PulseAugur coverage of embedding — every cluster mentioning embedding across labs, papers, and developer communities, ranked by signal.
- used by Vector Databases 80%
- used by semantic search 80%
- used by Vector Search 80%
- instance of semantic search 70%
- uses Vector Search 70%
- used by machine learning 70%
- used by fine-tuning 70%
- used by vector database 70%
- used by cosine similarity 70%
- instance of machine learning 70%
- used by nearest neighbor search 70%
- used by large-language models 70%
11 天有情绪数据
-
LLM API定价列表包含误导性的计费单位标签
对LLM API定价的分析揭示了计费单位标签标记不一致的问题,特别是“flat”一词常被错误地应用于按token计费。作者强调,跨不同计费单位(每100万token、每次请求、每张图像或免费但有限制)比较价格具有误导性,可能导致成本估算错误。为了准确比较LLM成本,用户应先按计费单位对模型进行分组,然后再排序,并考虑实际完成任务的成本,该成本考虑了重试率和延迟变化。
-
Neo4j 为增强 LLM 上下文的 RAG 系统提供支持
本文详细介绍了如何使用 Neo4j 作为向量数据库来实现检索增强生成(RAG)系统。RAG 通过为大型语言模型(LLM)提供来自私有数据源的最新、特定的上下文来增强它们。该过程涉及一个检索器,它将用户查询转换为嵌入,针对向量索引执行向量搜索,并获取相关数据来增强 LLM 的提示,从而实现更准确、更具上下文感知能力的响应。
-
LokalBot 集成五个本地 AI 模型,提升 Mac 会议效率
LokalBot 是一款开源的 Mac 应用程序,旨在编排多个本地 AI 模型以完成各种任务。该应用程序可以录制会议、转录会议内容、生成笔记、启用搜索以及提供自动补全功能,所有处理均在用户设备上进行。它使用五个不同的模型来执行语音转文本、说话人分离、笔记生成、自动补全和语义搜索,并根据使用情况和可用内存管理它们的加载和卸载。
-
AI应用成功取决于数据质量,而非仅仅是LLM
AI应用的质量,特别是那些使用检索增强生成(RAG)的应用,在很大程度上取决于底层数据。专家强调,虽然LLM、嵌入和向量数据库至关重要,但数据的组织、结构和准确性对于生成可靠和相关的答案至关重要。 proper data management,包括有意义的切块、元数据保留、一致性和数据质量检查,直接影响检索准确性和AI系统的整体有效性。
-
AI认证学习揭示了RAG对于聊天机器人比语义搜索更有必要性
一位用户在准备AI认证时,在为一款旨在根据3000份文件回答问题的聊天机器人选择嵌入时遇到了问题。他们发现仅靠嵌入和语义搜索不足以满足聊天机器人应用的需求,突显了检索增强生成(RAG)的必要性。RAG结合了语义搜索以查找相关信息和基础模型以生成响应,使其成为聊天机器人功能的合适解决方案。
-
现代AI堆栈:生产AI架构指南
本指南探讨了现代AI堆栈,这是一种分布式架构,对于构建超越简单API包装器的可靠生产AI系统至关重要。它详细介绍了关键组件,如大型语言模型(LLMs)、语义内存(Embeddings和向量数据库)、检索管道(RAG)以及编排层(LangGraph、n8n)。文章强调了实验性AI原型与生产级工程之间的区别,突出了LLMs的概率性质以及需要专门的基础设施来约束和监控它们。
-
LangChain框架简化LLM应用开发
LangChain是一个开源框架,旨在帮助开发人员构建由大型语言模型(LLM)驱动的AI应用程序。它充当桥梁,将LLM与各种组件(如提示模板、数据源、工具、内存和API)连接起来,以创建比简单文本生成更复杂、更有用的AI应用程序。该框架为聊天机器人、检索增强生成(RAG)系统和AI代理等应用程序提供了构建块,处理从模型输入/输出到数据连接和链式工作流的所有环节。
-
由于缺乏细粒度的费用跟踪,AI代理成本激增
随着AI代理变得越来越复杂,其相关成本正在显著增加,一个团队的推理支出就增加了三倍。核心问题在于缺乏细粒度的成本归因,因为当前的监控工具按API密钥或端点跟踪费用,未能精确指出代理工作流程中是哪个特定功能或内部步骤导致了成本的增加。这使得财务和工程团队难以理解和管理不断上涨的费用,尤其是在工作单元从单个API调用转向多步骤代理流程的情况下。
-
开源AI搜索工具涌现,成为Perplexity的替代品
AI领域正在快速发展,模型越来越多地处理信息检索等日常任务。虽然Perplexity提供AI驱动的搜索体验,但其成本和局限性促使了开源替代品的开发。Vane(前身为Perplexica)就是这样一种替代品,它允许用户使用本地或外部模型运行AI搜索,同时保护隐私,可通过Docker部署。
-
向量数据库为AI应用实现高效的语义搜索
向量数据库对于存储和搜索高维数据至关重要,特别是机器学习模型生成的嵌入。与依赖B-Tree等索引进行精确匹配的传统SQL或NoSQL数据库不同,向量数据库采用专门的索引技术,如IVF(倒排文件索引),来高效处理最近邻搜索。这使得它们能够快速找到具有相似含义的数据点,即使它们不共享精确的关键词,这对于语义搜索和检索增强生成(RAG)等应用至关重要。
-
大型语言模型可根据写作风格识别作者,带来隐私风险
大型语言模型(LLM)即使在没有直接访问个人数据的情况下,也能推断出大量关于个人的信息。作者结合了十年国家级数据项目的经验,解释说模型可以学习写作风格,这就像指纹一样是一种独特的标识符。这种能力,加上推断出的其他数据(如位置模式和购买历史),意味着匿名化技术已基本失效,对举报人和匿名平台用户构成隐私风险。作者建议,在撰写敏感或匿名内容时,应故意改变写作习惯作为一种缓解策略。
-
探讨向量搜索的局限性和扩展挑战
两篇文章讨论了向量搜索的挑战和扩展问题,向量搜索是许多AI应用的关键组成部分。第一篇文章强调了嵌入模型的固有几何局限性,解释了它们无法生成所有可能的文档组合。第二篇文章提供了一个系统工程指南,介绍了如何将向量搜索的规模从处理10万个嵌入扩展到1亿个嵌入,并将其视为一个系统问题而非AI问题。
-
向量数据库详解:嵌入、索引和 RAG 指南
本指南全面解释了向量数据库,详细介绍了它们在支持语义搜索、推荐和检索增强生成 (RAG) 方面的作用。它分解了九个基本组成部分:嵌入、相似性搜索、元数据、索引、检索、过滤、存储和 RAG。该指南还为选择合适的向量数据库提供了实用建议,并重点介绍了该领域的流行工具。
-
M-PFT 方法提高了视觉-语言模型的校准性能
研究人员推出了一种用于视觉-语言模型(VLM)提示调优的新方法 M-PFT,该方法解决了校准问题。提示调优的 VLM 通常在熟悉类别上表现出信心不足,在新类别上表现出过度自信。M-PFT 采用角边距方法,通过最小化类别嵌入之间的余弦相似度并将可调嵌入与其零样本对应项对齐来增强类别可区分性。在各种方法和数据集上的实验表明,M-PFT 在保持基础类别性能和准确性的同时,能有效降低新类别的校准误差,且计算成本极低。
-
LLM 的语义缓存:通过重用答案来降低成本
本文详细介绍了大型语言模型(LLM)的语义缓存,这是一种通过存储和重用先前响应来降低成本的方法。文章解释了语义缓存的工作原理:将用户请求转换为嵌入(embeddings),然后与向量数据库中存储的嵌入进行比较,以查找相似的 past queries。如果找到足够相似的查询,则返回其相应的 LLM 响应,从而绕过新的模型调用。该博文还讨论了安全注意事项,区分了语义缓存适用的场景(如 FAQ 和文档搜索)和不适用的场景(如个性化数据或工具…
-
AI代理记忆:探讨嵌入和相似性搜索的局限性
本文探讨了传统相似性搜索在AI代理记忆方面的局限性,特别是其无法区分事实陈述及其矛盾之处。文章讨论了向量搜索虽然有助于查找相关概念,但可能误解细微差别。文章提出了将这些嵌入集成到AI系统中的方法,以克服这些不足。
-
AI Embeddings Can Degrade Without Error Signals, Impacting Retrieval Quality
Embeddings,作为AI模型理解的关键组成部分,可能会随着时间的推移而质量下降,且没有任何明确的错误信号。这种现象类似于时钟漂移,会严重损害向量索引中的检索准确性。研究人员正在探索监测和纠正这种漂移的方法,以维持AI系统的可靠性。
-
AI利用嵌入式技术驱动超越关键词的语义搜索
传统的搜索引擎依赖关键词匹配,当用户使用不同词汇表达相同意图时可能会失败。然而,AI通过将语言转换为称为嵌入式的数学表示,实现了语义搜索。这使得系统能够理解用户查询背后的含义和上下文,而不仅仅是匹配关键词,从而获得更准确、更相关的搜索结果。
-
LLM通过预测token并使用注意力机制来生成文本
大型语言模型通过反复预测序列中的下一个token来生成文本。这个过程包括将文本转换为token,然后是token ID,最后是神经网络可以处理的数值嵌入。模型使用注意力机制来确定上下文中其他token的相关性,以准确地解释和表示当前token。虽然注意力是关键组成部分,但它独立于整体的Transformer架构。
-
向量数据库详解:嵌入、索引和 RAG 指南
本指南全面解释了向量数据库,详细说明了它们在支持语义搜索、推荐系统和检索增强生成 (RAG) 方面的作用。它分解了九个基本组成部分,包括嵌入、相似性搜索、元数据、索引、检索、过滤、存储和 RAG,同时还提供了选择合适向量数据库的实用建议。