Litert
PulseAugur coverage of Litert — every cluster mentioning Litert across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
Google 推出 LiteRT.js，实现浏览器内 AI 模型推理
Google 推出了 LiteRT.js，这是其设备端推理库（以前称为 TensorFlow Lite）的 JavaScript 绑定。这个新工具允许 .tflite 模型直接在网页浏览器中运行，利用 WebGPU、WebNN 和 WebAssembly 后端。Google 声称 LiteRT.js 提供了显著的性能提升，在计算机视觉和音频任务方面比其他 Web 运行时快三倍，并且在使用 GPU 或 NPU 加速时，为要求苛刻的实时应…
-
PrintGuard 2.0 发布，配备 5MB TFLite 模型，支持浏览器和 CPython
PrintGuard 2.0 是一个用于检测 3D 打印故障的更新系统，它利用 ShuffleNetV2 编码器和原型网络进行少样本故障检测。新版本拥有一个显著减小的 TensorFlow Lite 模型，约 5 MB，可以通过 Pyodide 在 CPython 和浏览器环境中未经修改地运行。这使得在无需重新训练的情况下，可以灵活地部署和调整灵敏度及阈值，并采用动态推理调度以实现公平性和效率。
-
LiteRT 本地 LLM 工具发布 Linux GUI
在 r/LocalLLaMA 子版块上，一位用户分享了一个用于 LiteRT 的图形用户界面 (GUI)。LiteRT 是一个用于在本地运行大型语言模型的工具。该 GUI 专为 Ubuntu 和 Debian Linux 发行版设计，可在 GitHub 上获取。该用户正在寻求其他可能认为此工具受益的 LiteRT 用户的反馈。
-
开发者构建微型离线AI，用于Android上的摩尔斯电码识别
一位开发者创建了一项Android功能，该功能使用小型、设备上的AI模块，通过图像和实时摄像头源识别摩尔斯电码。该模块体积小于5MB，完全离线运行，并使用LiteRT进行推理。该项目涉及从头开始构建整个ML管道，包括数据收集、使用TensorFlow/Keras在个人GPU上进行模型训练以及移动端优化。这项工作突显了小型、专业化AI模型在实际本地应用中的潜力，并引发了对当前是否过于关注大型基础模型而忽视这些高效解决方案的思考。
-
本地 Gemma 模型使用 LiteRT 端点实现 2.5 倍加速
一位用户已成功将 Google 的 Gemma 2B 和 4B 模型集成到本地设置中，实现了比基于 API 的模型快得多的性能。这是通过使用自定义 Python 脚本将专为移动设备设计的 LiteRT 引擎封装到 OpenAI 兼容的端点中来实现的。该设置还启用了音频输入功能，尽管目前受限于客户端支持和 CPU 密集型处理。
-
LiteRT 通过牺牲计算能力换取带宽来提高边缘 LLM 速度
研究人员开发了一种名为 LiteRT 的新方法来提高边缘 LLM 的性能，这些模型通常受内存带宽的限制。通过牺牲计算能力换取带宽，LiteRT 使这些模型能够达到每秒 30 个 token 的速度。这种方法解决了在资源有限的设备上部署强大 AI 模型的关键瓶颈。