Titan v2

开发者 AI 分身 25% 时间出现幻觉，评估工具揭示问题

作者为自己的个人 AI 数字分身开发了一个评估工具，该分身根据其个人资料回答问题。该工具显示，尽管提示旨在防止此类行为，但在 25% 的测试用例中 AI 出现了幻觉。该系统采用检索增强生成 (RAG) 方法，使用简单的 JSON 文件作为向量存储，并使用 Amazon Bedrock 的 Titan v2 模型进行嵌入，以及余弦相似度进行检索。评估过程分别使用 recall@k 和 nDCG@k 等指标评估检索准确性，并通过 LLM …