TinyBERT
PulseAugur coverage of TinyBERT — every cluster mentioning TinyBERT across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
新的自编码器细化方法为Transformer注意力提供高效替代方案
研究人员开发了一种新颖的掩码语言建模方法，该方法用基于自编码器的混合模块替代了Transformer中的传统注意力机制。这种新架构包含局部邻域、完整序列和注意力头模块，通过瓶颈压缩和重建输入。掩码位置的迭代细化过程包括向邻居拉动的步骤和通过自编码器投影进行的纠正步骤。该方法在参数匹配的BERT基线上取得了可比的性能，但FLOPs显著减少，展示了效率的提升。
-
Firefox 为自动填充功能安装本地 AI 组件 TinyBERT
据报道，Firefox 为其自动填充功能安装了一个名为 TinyBERT 的本地 AI 组件，引发了隐私担忧。用户质疑 TinyBERT 的用途以及如何将其从系统中删除。该组件的存在是在“扩展和主题”部分中注意到的。
-
TinyBERT LLM 成功在 ESP32 微控制器上运行
可以在 ESP32 微控制器上运行一个拥有 1450 万参数的 tinyBERT LLM，特别是 ESP32-S3 N16R8 型号，它配备了 16MB 闪存和 8MB PSRAM。该过程涉及将模型的参数矩阵转换为 ONNX 格式，然后将其从 32 位浮点量化为 4 位整数。这种优化是必要的，因为 Transformer 模型通常使用 32 位浮点数进行矩阵乘法。
-
TinyBERT 微调用于数据结构识别，无需英文
一位用户成功在 TinyBERT 上完成了他们的第一次微调练习，TinyBERT 是一个拥有 440 万参数的小型 transformer 模型。此次训练的目标是使该模型能够识别和转换数据结构，而无需英文输入。这种方法旨在用能够进行模式识别以检索信息的小型 LLM 助手取代传统的 SQL 查询。
-
ProxyFace为AI聊天添加本地化、情感化头像
ProxyFace是一个开源项目，为AI交互添加本地化、富有表现力的头像。它利用一个小型、设备上的情感模型和眼动追踪，使头像能够对AI输出和用户的注视做出反应。该项目使用React和Electron构建，强调隐私保护，零遥测，并允许自定义像素艺术角色。
-
MIPIC框架增强了NLP的嵌套表示学习
研究人员推出了一种新颖的嵌套表示学习（MRL）训练框架MIPIC。MIPIC旨在创建结构一致且语义紧凑的嵌套嵌入，以应对在各种计算预算下表现良好的嵌入构建挑战。该框架利用自蒸馏内关系对齐（SIA）来确保不同嵌入维度之间的一致性，并利用渐进信息链（PIC）来巩固模型深度的语义。实验表明，MIPIC训练的表示在各种容量下都具有竞争力，在极低维度下有显著提升。
-
Spark+AI Summit 2020：笔记涵盖特征工程、数据质量和模型效率
Eugene Yan 撰写的 Spark+AI Summit 2020 笔记涵盖了深度学习和数据工程中的实际应用和通用性会谈。特定应用会话重点介绍了 Airbnb 的 Zipline 等特征工程框架和 Sputnik 数据工程框架，以及 Gojek 的 Feast 和 Netflix 的数据质量方法。通用性会谈则侧重于通过模型剪枝、量化和蒸馏等技术提高深度学习效率，并引用了 IBM 和 Instagram 的示例。