TensorFlow Lite
PulseAugur coverage of TensorFlow Lite — every cluster mentioning TensorFlow Lite across labs, papers, and developer communities, ranked by signal.
3 天有情绪数据
-
新框架 FBLayout 提升移动 LLM 微调效率
研究人员开发了 FBLayout，一个旨在优化内存布局以在移动 GPU 上高效微调大型语言模型的新框架。该方法解决了阻碍设备端 AI 个性化的内存限制和布局转换效率低下的问题。FBLayout 引入了统一的 R-Tile 布局、基于块的索引转换和由激活引导的布局选择，以最大限度地减少数据移动和内存占用。在各种 Transformer 模型和移动 GPU 上的评估表明，与现有框架相比，速度显著提升，从而实现了实用的设备端微调。
-
Google 推出 LiteRT.js，实现浏览器内 AI 模型推理
Google 推出了 LiteRT.js，这是其设备端推理库（以前称为 TensorFlow Lite）的 JavaScript 绑定。这个新工具允许 .tflite 模型直接在网页浏览器中运行，利用 WebGPU、WebNN 和 WebAssembly 后端。Google 声称 LiteRT.js 提供了显著的性能提升，在计算机视觉和音频任务方面比其他 Web 运行时快三倍，并且在使用 GPU 或 NPU 加速时，为要求苛刻的实时应…
-
通过 Vulkan 在 GPU 上运行神经网络：库、编译器或自定义引擎
本文概述了使用 Vulkan API 在 GPU 上运行已训练神经网络的三种方法。它建议集成现有的库，如 TensorFlow Lite 或 ONNX Runtime，通过 ML 编译器（如 IREE 或 TVM）编译模型，或使用计算着色器开发自定义推理引擎以实现深度 Vulkan 集成。
-
PrintGuard 2.0 发布，配备 5MB TFLite 模型，支持浏览器和 CPython
PrintGuard 2.0 是一个用于检测 3D 打印故障的更新系统，它利用 ShuffleNetV2 编码器和原型网络进行少样本故障检测。新版本拥有一个显著减小的 TensorFlow Lite 模型，约 5 MB，可以通过 Pyodide 在 CPython 和浏览器环境中未经修改地运行。这使得在无需重新训练的情况下，可以灵活地部署和调整灵敏度及阈值，并采用动态推理调度以实现公平性和效率。
-
AI移动导览器为大埃及博物馆开发
研究人员开发了TimeLens，一个AI驱动的大埃及博物馆移动导览器。该系统可以实时识别文物并以英语或阿拉伯语回答游客的问题。该项目涉及使用YOLOv8n创建端侧文物检测器，该检测器在保持小巧高效的同时实现了高精度。此外，一个双语检索增强生成导览器针对低延迟进行了优化，使用了Gemma 4 E2B语言模型和ChromaDB知识库。
-
微小协同推理提升边缘设备上的目标检测性能
研究人员开发了一种用于改进小型边缘设备上的目标检测方法，特别是在存在遮挡的情况下。他们的方法结合了轻量级神经网络架构和TensorFlow Lite量化，并评估了两种协同推理策略：特征级融合和决策级融合。决策级融合，特别是使用加权框融合（WBF），表现出更优越的性能，在不对称遮挡设置下将准确率提高了高达0.27 mAP，并在多板部署中将帧级覆盖率提高了近30%。
-
DCGAN 在具有 512KB SRAM 的 RISC-V 微控制器上运行
一个项目成功地在一个双核 RISC-V 微控制器上实现了一个拥有 1260 万参数的 DCGAN 模型，用于生成 64x64 的猫脸图像，该微控制器仅有 512KB 的 SRAM。完全用 C 语言编写的推理引擎在 26 秒内完成了图像生成，其性能主要受限于 SD 卡访问速度而非计算能力。这项工作值得关注，因为它绕过了 TFLite 和 CMSIS NN 等现有生态系统，为在低成本嵌入式硬件上运行生成模型提供了一种新颖的解决方案。
-
深度学习集成提高了植物病害分类的准确性
研究人员开发了AgriMind，一个用于自动化植物病害分类的集成深度学习框架。该系统结合了三种模型——ResNet50、EfficientNet-B0和DenseNet121——这些模型在超过20,000张辣椒、土豆和番茄植物的图像上进行了训练。该集成模型达到了99.23%的准确率，与单个模型相比显著降低了错误率，并展示了在GPU上高效的处理速度。
-
AI模型在有限设备上对膝关节骨关节炎严重程度进行分级
研究人员开发了一种结合深度学习和大型语言模型来分级膝关节骨关节炎严重程度的新方法。该系统利用ResNet-18卷积神经网络，经过优化并转换为TensorFlow Lite，以便在计算资源有限的设备上部署。该设备端模型在测试中达到了94.48%的准确率，并且无需持续的互联网连接即可运行。辅助LLM Gemini-2.0-flash提供了解释性发现，例如潜在症状和预防措施，增强了该工具作为可访问的决策支持系统的实用性。
-
PoTAcc流水线在边缘设备上加速二的幂量化深度神经网络
研究人员开发了PoTAcc，一个开源流水线，旨在加速资源受限的边缘设备上二的幂（PoT）量化深度神经网络（DNN）的部署。该系统通过TensorFlow Lite促进这些模型的准备和部署，支持仅CPU配置以及带有定制加速器的混合CPU-FPGA系统。评估表明，使用PoTAcc的CPU-加速器设计在特定FPGA板上与仅CPU执行相比，实现了高达3.6倍的速度提升和78%的能耗降低。
-
AI模型通过新数据集和高效蒸馏技术推进植物病害检测
研究人员开发了新的植物叶病分类方法，以辅助早期检测和治疗。一种方法是使用DenseNet201架构在一个自定义数据集上训练一个新的基础模型，该模型通过迁移学习证明了使用更少数据即可实现更快、更鲁棒的训练。另一种方法AgriKD，利用跨架构知识蒸馏，将知识从计算成本高昂的Vision Transformer转移到一个更高效的卷积学生模型，显著减小了模型尺寸和边缘部署的推理时间。
-
AI模型从音频预测口吃事件，并部署在设备上
研究人员开发了一种新的卷积神经网络（CNN）模型，该模型能够从短音频片段中预测即将发生的口吃事件。这个拥有616K参数的模型在SEP-28k数据集上进行了训练，在识别如阻塞和声音重复等严重口吃事件的前体方面表现出特别的能力。值得注意的是，该模型可以部署在设备上，并在各种Apple设备上展示了高效的导出格式和低延迟。