PulseAugur
实时 05:02:20
English(EN) Is there any use case for large models with very slow token output for batch processing?

用户探索缓慢、海量AI模型在批处理中的细分用途

Reddit论坛r/LocalLLaMA的一位用户正在探讨输出速度极慢的大型语言模型在批处理任务中的潜在用途。该用户从艾萨克·阿西莫夫的小说《最后一问》中获得灵感,设想了一个场景:即使像Kimi这样的大型模型以每秒0.001个token的速度处理复杂查询需要一周时间,也可以将其部署在本地运行。核心问题在于,是否存在社区或实际应用支持这种缓慢但可能强大的AI处理方式。 AI

排序理由 用户在论坛上生成的内容,讨论AI模型的假设性、细分用途。

在 r/LocalLLaMA 阅读 →

AI 生成摘要 · Google Gemini · 来自 1 个来源。 我们如何撰写摘要 →

用户探索缓慢、海量AI模型在批处理中的细分用途

报道来源 [1]

  1. r/LocalLLaMA TIER_1 English(EN) · /u/Last_Bad_2687 ·

    对于批处理而言,输出速度极慢的大模型有什么用例吗?

    <!-- SC_OFF --><div class="md"><p>Maybe I'm influenced by the sci-fi story &quot;The Last Question&quot; by Issac Assimov but I've always got a tickle imagining a huge model like Kimi running on, say, disk. Even if it is 0.001 tok/sec to ask complex questions and get an answer in…