Longscribe 推出了一项新功能，允许用户就转录的音频提问，但遇到了意想不到的工程挑战。将整个转录文本输入LLM的初始方法因免费层级的令牌限制和成本限制而失败，特别是对于较长的录音。一种更有效的方法是根据说话人轮次而不是固定的令牌窗口来分块转录文本，同时保留时间戳并确保答案严格基于提供的文本，以防止幻觉。 AI
影响 强调了将RAG应用于非结构化音频转录文本的挑战以及免费层级LLM限制对功能设计的影响。
排序理由 转录服务的ョン产品功能发布。
AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →
<p>We shipped a "chat with your transcript" feature on Longscribe (longscribe.com, free long-form transcription) recently, and the interesting engineering problems weren't the ones I expected going in.</p> <h2> The naive version doesn't survive contact with real transcripts </h2>…