embedding
PulseAugur coverage of embedding — every cluster mentioning embedding across labs, papers, and developer communities, ranked by signal.
- used by Vector Search 80%
- used by large-language models 70%
- used by cosine similarity 70%
- used by Vector Databases 70%
- used by Markdown 70%
- instance of machine learning 70%
- affiliated with Vector Search 60%
- instance of Vector Databases 60%
- used by fine-tuning 60%
- instance of generative artificial intelligence 60%
- used by machine learning 60%
- used by artificial neural network 60%
2 天有情绪数据
-
Jev/TEV 与 Embedding 在 AI 意图识别中的对比：混合方法
文章讨论了在 AI 系统中，使用 Jev/TEV（System-One 决策模型）与传统嵌入向量进行意图识别的对比。嵌入向量适用于基于语义相似性的大型固定意图集，而 Jev/TEV 则在涉及复杂逻辑、条件和否定的小型动态意图集方面表现出色。Jev/TEV 可直接整合业务规则，并为多个判断同时提供校准后的概率，但其在选择数量上有限制，并且与嵌入向量相比，在处理全新、长尾意图方面可能表现不佳。最佳方法通常涉及混合模型：使用嵌入向量进行广泛…
-
混合搜索解析：结合 BM25 和向量嵌入以实现 AI
本文解释了混合搜索的概念，它结合了传统的基于关键词的搜索（如 BM25）和现代的向量搜索。向量搜索使用嵌入将文本表示为数值向量，从而实现语义理解和更快速地检索相似含义。该过程包括嵌入文档、将这些向量与索引（如 HNSW）一起存储在数据库中、使用相同的模型嵌入用户查询，然后使用余弦相似度等相似性度量来查找最近邻向量。这种方法是支持检索增强生成（RAG）系统的基础。
-
新方法在无需训练的情况下生成图嵌入
研究人员开发了一种无需依赖复杂模型设计或基于梯度的训练即可生成信息图嵌入的方法。通过在源自随机游走和匿名游走的层次结构中传播随机特征，该方法捕获了节点邻近性和结构角色。这些无需训练的嵌入在各种图相关任务中表现出具有竞争力的性能，计算成本通常大大降低，并且可以组合以提高推理质量。
-
RAG 详解：LLM 如何访问和使用特定数据来生成答案
检索增强生成（RAG）是 LLM 应用中用于让模型访问其训练集之外的特定、最新数据的一项技术。RAG 流程包括一个检索器从文档中查找相关文本块，然后将这些文本块作为上下文供 LLM 生成答案。生产系统通常包含额外的步骤，如解析、分块、嵌入生成、索引、重排序和构建最终上下文，以提高答案的质量和准确性。
-
研究发现AI嵌入会像人脑一样遗忘
新研究表明，AI记忆系统（特别是使用向量数据库和嵌入的系统）中回忆能力的退化，与人类记忆的遗忘模式相似。研究发现，嵌入的方差会集中在一小部分维度上，无论其标称维度是多少，这会导致记忆之间的竞争加剧。这种竞争，而不是基于时间的衰减，是遗忘的主要驱动因素，甚至可能导致生成与实际检索信息无法区分的错误记忆。
-
在 Ubuntu Voice 黑客松上探索用于人道主义援助的 AI 代理和 RAG
Ubuntu Voice 黑客松正在探索使用人工智能，特别是 AI 代理和检索增强生成 (RAG)，来支持人道主义紧急情况下的社区。该项目旨在创建一个低带宽平台，将用户连接到社区特定的 AI 代理，这些代理通过网络聊天和 WhatsApp 使用受信任的文档提供基于事实的信息。重点关注的领域包括人工智能的准确性和相关性评估、紧急情况分类以及在苏丹、索马里和也门等危机背景下的数据监控。
-
AI概念解析：现代AI指南
本文用通俗易懂的语言解释了构成现代人工智能的15个核心概念。它涵盖了机器学习、深度学习、神经网络和自然语言处理等基础领域。该指南还深入探讨了Transformer、大型语言模型和注意力机制等更高级的主题，旨在揭示ChatGPT和Claude等AI系统的工作原理。
-
开发者的意图检测器在否定词处理上遇到困难，尽管召回率很高
一位开发者构建了一个使用嵌入式模型进行意图检测的系统，用于识别需要采取行动的用户消息，目标是减少为每条消息调用大型语言模型的成本。该系统将消息与预定义工具的相似度与与中性短语的相似度进行比较，而不是使用固定阈值。虽然该系统实现了 92% 的高召回率，但其误报率高达 24%，尤其是在处理否定词时，具有相反含义的句子被视为高度相似。
-
AI使用嵌入将意义映射到空间以实现语义搜索和记忆
AI模型通过嵌入将意义转化为空间位置来确定相似性。这个过程通过识别概念空间中最近的点，实现了语义搜索、推荐和AI记忆的功能。
-
新研究探索高斯混合块模型中的谱聚类
研究人员已开始研究从高维高斯混合块模型中采样的图的聚类和嵌入。该方法旨在通过将每个顶点与潜在特征向量相关联来对现代网络进行建模，其中边根据特征相似性添加。该研究侧重于特征向量维度随网络大小增加的高维设置，分析了 2 分量球形高斯混合的谱聚类和嵌入算法的性能。
-
评估 RAG 系统：指标和分层工具
本文讨论了评估检索增强生成 (RAG) 系统的实用方法，超越了主观评估。它强调了通过使用 Precision@k、Recall@k、MRR 和 nDCG 等特定指标来区分检索失败和生成失败的重要性。作者提出了一个分层评估工具，其中包括确定性检查和 LLM 作为裁判的方法，以确保对 RAG 性能进行稳健且可重现的评估。
-
Lean AI Memory 使用 Markdown 和 Git 实现更简单的AI上下文保留
一位开发者提出了一个名为 Lean AI Memory 的新颖AI记忆管理方法，该方法利用人类可读的 Markdown 文件和 Git 进行版本控制。这种方法旨在简化AI代理在会话之间保留项目上下文的方式，避免了传统向量数据库和嵌入的复杂性。该系统允许开发者轻松读取、编辑和跟踪AI记忆，并具有自定义规则来决定AI应优先记住哪些信息。
-
揭秘5个关键AI术语：Embeddings、Agents、RAG、Fine-Tuning和Context Engineering
本文旨在揭秘人工智能领域的五个关键术语：Embeddings、AI Agents、检索增强生成（RAG）、微调（Fine-Tuning）和上下文工程（Context Engineering）。通过理解这些概念，读者可以更深入地了解现代AI系统的内部工作原理。
-
理解 Transformer：从分词到自注意力机制
本文剖析了 Transformer 模型背后的核心概念，重点介绍了它们如何处理语言。文章解释了分词（tokenization），即将文本分割成更小的片段，以及分词 ID（token IDs），即这些片段的数值表示。该过程继续介绍嵌入（embeddings），将分词转换为捕获它们之间关系的向量，以及位置编码（positional encoding），它为序列中分词的位置添加信息。最后，文章深入探讨了自注意力机制（self-attenti…
-
AI应用安全：超越提示注入，关注API密钥卫生
构建安全的AI应用程序需要同时关注模型层和访问层的安全。虽然提示注入和数据泄露是常见的担忧，但更频繁的漏洞涉及在客户端代码中直接暴露API密钥。开发人员在原型设计阶段通常会优先考虑速度，导致在前端应用程序或公共代码存储库中硬编码密钥。一个强大的API安全网关应通过在服务器端代理请求来解决凭证保护问题，而不是仅仅关注提示操纵等模型特定的威胁。
-
向量数据库：现代人工智能应用的引擎
本文深入解释了向量数据库，强调了它们在驱动许多人工智能应用中的关键作用。它探讨了诸如嵌入（embeddings）、最近邻搜索（nearest neighbor search）等概念，以及它们作为大型语言模型的事实数据库的功能。文章强调了这些数据库对于机器学习领域有效信息检索的基础性作用。
-
构建AI数据库助手：从自然语言到安全SQL
本文详细介绍了构建一个AI驱动的数据库助手お过程，该助手能够通过生成SQL查询来回答自然语言问题。文章强调，核心挑战不在于AI编写SQL的能力，而在于围绕这些步骤。这包括理解数据库模式、使用带有嵌入和向量数据库的语义搜索来识别相关表、为LLM构建带有示例的详细提示，以及实施强大的安全检查来验证和保护生成的SQL，然后再执行。
-
RAG 系统通过混合搜索和重排在向量搜索之外得到增强
本文深入探讨了超越简单向量搜索来增强检索增强生成（RAG）系统。文章解释说，虽然嵌入对于语义相似性至关重要，但它们本身是不够的。文章提倡一种混合方法，将语义搜索与 BM25 等词汇搜索方法相结合，并纳入重排以优化结果。诸如查询优化、元数据过滤和上下文压缩等技术被强调为构建健壮的 RAG 管道的关键，这些管道可以通过提高准确性和效率来可靠地处理实际查询。
-
AI/ML面试准备：关注LeetCode之外的场景题
来自Towards AI及其他来源的几篇文章为准备面试的AI和ML专业人士提供了指导。内容侧重于与嵌入（embeddings）和MLOps相关的实际场景题，旨在帮助候选人掌握超越死记硬背算法或编码挑战的策略。这些资源强调理解AI/ML职位中的实际应用和问题解决能力。
-
新框架利用LLM和嵌入来扩展科学分类法 · 已追踪2个来源
两篇新的研究论文介绍的框架利用大型语言模型（LLM）和嵌入来增强科学分类法。第一个框架ReLTEx，通过结合LLM生成和结构感知验证，专注于可靠的基于LLM的分类法扩展，以减少幻觉并提高一致性。第二个框架SCALE，通过使用嵌入和LLM创建新的科学概念层来扩展OpenAlex分类法，将语义相关的术语组织成连贯的单元，从而实现更细粒度的学术分类和分析。