TinyBERT
PulseAugur coverage of TinyBERT — every cluster mentioning TinyBERT across labs, papers, and developer communities, ranked by signal.
1 天有情绪数据
-
ProxyFace adds local, emotional avatars to AI chats
ProxyFace is an open-source project that adds a local, expressive avatar to AI interactions. It utilizes a small, on-device emotion model and eye-tracking to make the avatar react to AI output and the user's gaze. The p…
-
MIPIC框架增强了NLP的嵌套表示学习
研究人员推出了一种新颖的嵌套表示学习（MRL）训练框架MIPIC。MIPIC旨在创建结构一致且语义紧凑的嵌套嵌入，以应对在各种计算预算下表现良好的嵌入构建挑战。该框架利用自蒸馏内关系对齐（SIA）来确保不同嵌入维度之间的一致性，并利用渐进信息链（PIC）来巩固模型深度的语义。实验表明，MIPIC训练的表示在各种容量下都具有竞争力，在极低维度下有显著提升。
-
Spark+AI Summit 2020：笔记涵盖特征工程、数据质量和模型效率
Eugene Yan 撰写的 Spark+AI Summit 2020 笔记涵盖了深度学习和数据工程中的实际应用和通用性会谈。特定应用会话重点介绍了 Airbnb 的 Zipline 等特征工程框架和 Sputnik 数据工程框架，以及 Gojek 的 Feast 和 Netflix 的数据质量方法。通用性会谈则侧重于通过模型剪枝、量化和蒸馏等技术提高深度学习效率，并引用了 IBM 和 Instagram 的示例。