runledger.py

LLM成本管理：跟踪时间和令牌以进行准确预算

一篇近期文章提出了一种管理大型语言模型（LLM）使用相关成本的新方法，特别是在代理系统中。作者认为，仅关注仪表板上显示的令牌数量具有误导性，因为实际成本更好地由挂钟时间和重试累积的令牌使用量来表示。提出的解决方案包括实施一个详细的账本，记录每次尝试的令牌数量和花费的时间，无论该尝试是免费还是付费的。该账本可以更准确地了解总成本，并能够根据预算限制计算实际的重试上限，而不是任意限制。