Serguey Asael Shinder
PulseAugur coverage of Serguey Asael Shinder — every cluster mentioning Serguey Asael Shinder across labs, papers, and developer communities, ranked by signal.
7 天有情绪数据
-
AI助手通过系统提示泄露折扣码，凸显OWASP Top 10漏洞
一位客户通过简单地要求AI助手打印特定行以上的所有文本，成功地诱使其透露了包括折扣码在内的系统指令。此次事件凸显了一个常见的漏洞，即系统提示泄露，该漏洞现已被列入LLM应用的OWASP Top 10。作者Serguey Asael Shinder建议不要将敏感信息或关键逻辑直接嵌入系统提示中，并建议将此类功能通过外部代码处理以提高安全性。
-
AI支持助手泄露系统提示和折扣码
一位客户成功地提示AI支持助手泄露了其系统提示，其中包括一个折扣码。此事件凸显了一个常见的漏洞，即系统提示泄露，即用于指导AI行为的指令被暴露。作者建议不要将折扣码或API密钥等敏感信息直接包含在系统提示中，并建议此类逻辑应由外部代码处理以提高安全性。
-
LLM提示词缓存因开头包含动态元素而失效
当时间戳等动态元素位于提示词的开头时，LLM的提示词缓存会失效。提示词缓存依赖于相同的开头来重用已处理的令牌，但开头不断变化的时间戳使得每个提示词都独一无二，从而消除了缓存的好处。为了优化缓存，应将指令、工具定义和参考文档等稳定信息放在提示词的开头，然后是时间戳和用户问题等特定于会话或请求的动态元素。监控API响应中缓存的令牌数量对于识别和纠正低效的缓存策略至关重要。
-
由于时间戳放置在提示的开头，提示缓存失败
一位名叫Serguey Asael Shinder的软件工程师观察到，由于时间戳被放置在提示的开头，提示缓存无效。提示缓存依赖于相同的前缀，而每次请求开头不断变化的时间戳阻止了任何缓存token的重用。Shinder建议重新排序提示，将指令和工具定义等稳定元素放在前面，然后是时间戳和用户问题等会话特定和请求特定的信息，以最大限度地提高缓存效率。
-
大型语言模型在“中间迷失”上下文检索方面遇到困难
最近一篇文章强调了一种称为“中间迷失”的现象，即大型语言模型在检索其上下文窗口中间的信息时遇到困难。研究表明，当关键段落位于提示的开头或结尾时，模型的表现最佳，而当这些段落被埋在中间时，准确性会显著下降。虽然较新的模型有所改进，但没有一个模型是完美的，它们经常在忽略信息时无法发出信号。作者建议，用户应优先发送更少、更相关的段落，并按重要性排序，而不是依赖最大上下文窗口，以提高检索准确性。
-
LLM检索因将标题与上下文分离而失败
一位开发者遇到问题，由于文档分块不当，LLM的检索系统提供了错误信息。该系统旨在根据定价策略回答问题，但由于将文档分割成任意大小的块，将标题与其对应的段落分开，因此失败了。这导致模型向基本计划的用户展示了企业账户的退款政策，因为两部分都包含相似的措辞但缺乏上下文。作者建议通过保留文档结构（包括标题和章节信息）来改进检索，并在查询模型时使用此元数据进行过滤和提供上下文。
-
AI模型可能默默截断输出，导致数据不完整
一位开发者强调了一个常见问题：AI模型在未明确通知的情况下截断输出，导致不完整的结果被传递给下游。当模型达到最大输出长度时，但调用代码未能检查指示生成停止原因的'finish reason'字段时，就会出现此问题。这种疏忽可能导致不完整的报告或数据被视为有效，从而掩盖了潜在问题。作者建议开发者始终检查finish reason，设置充足的输出限制，并为接近限制的调用实施警报，以防止数据被静默损坏。
-
AI答案缓存因混淆相似话题与相同问题而失败
一个旨在通过存储和重用相似问题的答案来降低模型调用费用的AI缓存系统被发现存在缺陷。该缓存使用嵌入（embeddings）来判断相似性，将话题相似的问题视为相同问题，即使它们的含义相反。这导致了错误的答案，例如在用户打算阻止取消订单时，却建议用户如何取消订单。作者建议缓存仅应用于静态信息，而依赖于操作的查询或涉及金钱的查询应始终发送给模型或使用精确问题匹配。
-
大型语言模型缺乏实时时钟，导致日期不准确
大型语言模型缺乏实时时钟，而是依赖其训练数据的截止日期来理解时间。当用户询问当前事件、日期或最新产品版本时，这可能导致不准确。为缓解此问题，开发人员应在每次向模型发出请求时明确提供当前日期、时间和时区，而不是依赖模型的内部知识或缓存的提示。此外，建议将与日期相关的短语传递给外部函数，以便在采取行动前进行准确计算并与用户确认。
-
未版本化的AI提示带来重大风险，开发者警告
一位开发者强调了在生产AI系统中使用未版本化和未提交的提示这一关键问题。这些提示通常被视为实验性文本，可以在没有可追溯历史的情况下进行修改，从而导致AI行为和输出发生不可预测的变化。作者认为，为了确保系统稳定性和在出现问题时的问责制，提示的管理应与代码一样严格，包括版本控制、审查和回滚功能。
-
AI模型可以被提示争论问题的任何一方
AI模型可以被提示就给定主题争论任何一方，提供特定观点和鼓励，或详细说明另一方的重大问题。模型的输出高度依赖于问题的措辞，它像一面镜子反映用户的输入，而不是提供独立意见。为了获得真正的见解，用户应该要求AI提出反对其首选论点的理由，或探讨潜在的缺陷，因为这是揭示可能挑战自身结论的推理的唯一方法。
-
LLM成本管理：跟踪、设置上限和优化使用量
作者认为，开发人员需要像跟踪延迟和错误率一样密切监控LLM请求的成本。他建议为每次请求记录成本，附加用户和端点信息，并设置用户特定的成本上限，以防止意外账单。此外，修剪提示中的样板文字并将更简单的查询路由到成本较低的模型，可以显著降低运营费用。
-
LLM提示是代码：固定模型版本以避免静默中断
构建大型语言模型（LLM）的开发人员必须将模型ID视为版本化的依赖项，类似于软件库，以避免意外的行为更改。作者Serguey Asael Shinder建议在配置中明确固定模型版本，而不是使用“latest”标识符。这种做法对于调试至关重要，因为它允许开发人员确定输出差异是源于模型更新还是用户输入更改。Shinder还建议建立一套保存的测试用例，在更新提示或模型版本时定期运行，以捕获回归并为最终的模型弃用做好准备。
-
AI模型擅长回答，不擅长定义问题，人类监督至关重要
大型语言模型在生成答案方面表现出色，但在识别正确问题或疑问方面存在困难。它们可以为有缺陷的提示生成自信且记录详尽的回复，导致在错误问题的解决方案上浪费精力。人类的责任在于仔细定义问题，确保在利用AI解决问题的能力之前，它能解决实际需求。
-
AI模型提供有用的草稿，但缺乏对结果的个人利害关系
作者认为，虽然AI模型提供有价值的帮助，但它们对建议结果缺乏个人投入。与人类不同，模型不会因错误而承担后果，例如失眠、失去客户或失业。因此，用户必须保留最终的判断和责任，将AI作为起草和建议的工具，而不是批判性决策的替代品。