Build.VERSION.SDK_INT

讨论了单GPU和设备上的AI服务热节流

最近的一项实验表明，一块24GB的NVIDIA RTX 3090 GPU可以有效地同时运行三个AI服务，使用了17.8GB的显存。这个设置包括一个WhisperX ASR服务、一个文本到语音模型和一个用于RAG管道的嵌入模型，这表明实际的AI堆栈比理论上的单模型计算需要更多的显存。另外，关于设备上的AI代理的讨论强调了一个与Android设备上的热节流相关的关键故障模式，其中持续的推理会导致热量积聚和性能下降，因此需要主动的热管理策略。