TinyBERT
PulseAugur coverage of TinyBERT — every cluster mentioning TinyBERT across labs, papers, and developer communities, ranked by signal.
2 天有情绪数据
-
TinyBERT LLM 成功在 ESP32 微控制器上运行
可以在 ESP32 微控制器上运行一个拥有 1450 万参数的 tinyBERT LLM，特别是 ESP32-S3 N16R8 型号，它配备了 16MB 闪存和 8MB PSRAM。该过程涉及将模型的参数矩阵转换为 ONNX 格式，然后将其从 32 位浮点量化为 4 位整数。这种优化是必要的，因为 Transformer 模型通常使用 32 位浮点数进行矩阵乘法。
-
TinyBERT 微调用于数据结构识别，无需英文
一位用户成功在 TinyBERT 上完成了他们的第一次微调练习，TinyBERT 是一个拥有 440 万参数的小型 transformer 模型。此次训练的目标是使该模型能够识别和转换数据结构，而无需英文输入。这种方法旨在用能够进行模式识别以检索信息的小型 LLM 助手取代传统的 SQL 查询。
-
ProxyFace为AI聊天添加本地化、情感化头像
ProxyFace是一个开源项目，为AI交互添加本地化、富有表现力的头像。它利用一个小型、设备上的情感模型和眼动追踪，使头像能够对AI输出和用户的注视做出反应。该项目使用React和Electron构建，强调隐私保护，零遥测，并允许自定义像素艺术角色。
-
MIPIC框架增强了NLP的嵌套表示学习
研究人员推出了一种新颖的嵌套表示学习（MRL）训练框架MIPIC。MIPIC旨在创建结构一致且语义紧凑的嵌套嵌入，以应对在各种计算预算下表现良好的嵌入构建挑战。该框架利用自蒸馏内关系对齐（SIA）来确保不同嵌入维度之间的一致性，并利用渐进信息链（PIC）来巩固模型深度的语义。实验表明，MIPIC训练的表示在各种容量下都具有竞争力，在极低维度下有显著提升。
-
Spark+AI Summit 2020：笔记涵盖特征工程、数据质量和模型效率
Eugene Yan 撰写的 Spark+AI Summit 2020 笔记涵盖了深度学习和数据工程中的实际应用和通用性会谈。特定应用会话重点介绍了 Airbnb 的 Zipline 等特征工程框架和 Sputnik 数据工程框架，以及 Gojek 的 Feast 和 Netflix 的数据质量方法。通用性会谈则侧重于通过模型剪枝、量化和蒸馏等技术提高深度学习效率，并引用了 IBM 和 Instagram 的示例。