Edge artificial intelligence
PulseAugur coverage of Edge artificial intelligence — every cluster mentioning Edge artificial intelligence across labs, papers, and developer communities, ranked by signal.
4 天有情绪数据
-
科技并购趋势指向AI、智能体和数据平台的未来
技术并购可以为我们提供对未来趋势的洞察，特别是在AI路由器、智能体、边缘AI、数据平台和编码工具等领域。关注这些领域的金融投资可以更清晰地描绘出行业的发展方向。
-
Banana Pi 发布搭载 Rockchip 处理器的边缘 AI 模块
Banana Pi 发布了两款新的计算模块，BPI-CM5 Pro 和 BPI-AIM7，均专为边缘 AI 应用设计。BPI-CM5 Pro 采用 Rockchip RK3576 处理器，而 BPI-AIM7 则搭载 Rockchip RK3588。两款模块均提供 6 TOPS 的 NPU 算力，配置从 8GB 到 32GB 的 RAM 以及 8GB 到 128GB 的 eMMC 存储。
-
研究发现：智能手机上的边缘AI推理不如云端可持续
一项发表在arXiv上的新研究调查了在移动设备上运行大型语言模型（LLMs）对环境的影响，挑战了边缘AI比基于云的推理更具可持续性的假设。研究发现，与服务器批量推理相比，设备上的LLM推理的能源效率大约低三倍。此外，研究表明，考虑到完整的生命周期，本地推理并不比云推理更环保，因为设备本身的碳排放占了大部分影响。
-
ADATA 扩展 B2B 内存和存储产品组合，支持 AI 服务器和边缘 AI
ADATA 正在扩展其面向企业的内存和存储产品，以支持 AI 服务器和边缘人工智能应用。此举旨在满足人工智能领域对专业化硬件日益增长的需求。
-
物联网、人工智能和区块链融合，承诺数据完整性和边缘计算
三大关键技术——物联网（IoT）、人工智能（AI）和区块链——的融合将彻底改变数字格局。物联网设备将收集真实世界的数据，人工智能将分析这些数据以实现自主决策，区块链将确保这些信息的完整性和不可篡改性。通过创建可审计的去中心化数据集，这种集成解决了人工智能中的关键挑战，如数据来源、质量和偏见。软件架构的未来在于理解和利用这种技术交叉点，将计算从遥远的数据中心转移到网络的边缘。
-
军事用边缘人工智能需要离线功能和弹性
文章讨论了部署在军事环境中的人工智能系统在没有持续网络连接的情况下有效运行的必要性。这一要求凸显了低延迟、高效的资源利用、本地决策以及在边缘人工智能和设备端推理中对通信中断的弹性至关重要。
-
边缘AI研究聚焦于优化推理吞吐量和效率
arXiv上的两篇新研究论文探讨了在边缘设备上优化AI推理的方法。第一篇论文介绍了一种面向信道的AI算法，该算法通过根据信道条件调整计算复杂度来最大化推理吞吐量，并利用冯·米塞斯混合分布进行精度建模。第二篇论文提出了一种通用优化引擎（GOE）架构，该架构集成了各种硬件和模型无关的优化技术，以降低计算成本、内存占用、延迟和功耗，从而能够在不牺牲精度的前提下，在没有GPU的边缘CPU上运行语言模型。
-
设备端AI凭借新的SDK和CCTV集成获得关注
NobodyWho库使开发人员能够将大型语言模型（LLMs）直接集成到应用程序中，实现设备端AI，提供离线功能、增强隐私和降低延迟等优势。该库封装了llama.cpp，为包括Flutter、Python、Swift和React Native在内的各种编程语言和框架提供了绑定。它支持从Hugging Face下载模型，并提供多模态输入、语音转文本和工具调用等高级功能。另外，Intellivix正在将设备端AI集成到CCTV硬件中，用于实…
-
边缘AI框架增强智能制造中的任务分配
一篇新的研究论文提出了一种用于循环智能制造中去中心化任务分配的边缘AI驱动框架。该方法利用部署在机器级别的轻量级决策智能，结合了资源感知启发式和基于回归的边缘AI公式。与传统的启发式方法相比，该框架旨在提高任务完成率、减少延迟和降低截止日期未完成率，同时还降低了每项已完成任务的能耗。
-
为乳腺癌多学科团队会议开发设备端AI系统
研究人员开发了一个设备端AI系统，旨在协助乳腺癌多学科团队会议。该系统利用开源自动语音识别（ASR）和大型语言模型（LLMs）来转录患者讨论、构建临床信息，并根据既定指南生成治疗建议。AI流程完全在本地硬件上运行，确保患者数据隐私和机构基础设施要求合规。评估显示，与基于云的对比系统相比，转录准确性和干预措施识别的准确性均有所提高。利益相关者认为自动化文档和决策支持是关键应用，同时也指出了工作流程整合和临床医生信任方面的挑战。
-
新框架支持在考虑热约束的边缘设备上进行鲁棒的LLM微调
研究人员开发了Thermo-FL，一个用于在边缘设备上进行大型语言模型联邦微调的新框架。该方法通过将热感知纳入训练过程，解决了硬件不稳定和对抗性攻击带来的挑战。Thermo-FL根据设备温度动态调整本地适配器训练和更新传输密度，而鲁棒的服务器端聚合管道TERRA则过滤和验证稀疏更新，以在BoolQ和GSM8K等基准测试中保持模型完整性和性能。
-
AI 框架使用拉曼光谱准确识别食用油
研究人员开发了一种使用拉曼光谱和机器学习来鉴定食用油的新方法，即使在炸薯片等复杂食品基质中也能实现。该研究利用物理信息人工智能 (PI-AI) 将光谱数据与可解释的分类模型联系起来。通过采用决策树和 K-means 聚类等技术，该框架可以使用显著减少的光谱变量集实现高分类准确率，展示了高效便携食品质量监测的潜力。
-
边缘人工智能系统MotoSafety评估两轮车碰撞风险
研究人员开发了MotoSafety，一种新颖的边缘人工智能架构，旨在评估时变压力下两轮车骑手的碰撞风险。该系统利用了大量多变量时间序列序列数据集和学习时间重要性原理。MotoSafety表现出高精度和ROC AUC，优于多个基线模型，并且在预测方面比Time-LLM和iTransformer等其他先进模型显示出显著更低的错误率。其轻量级设计和低延迟使其适合部署在低成本硬件上，潜在应用不仅限于车辆安全，还可扩展到人类活动和临床领域。
-
新流水线通过NAS和量化优化边缘AI硬件
研究人员开发了一种新颖的三阶段流水线，用于优化边缘AI部署的神经网络架构，重点关注神经架构搜索（NAS）与训练后量化（PTQ）的相互作用。该流水线包括一个与硬件无关的代理前端、一个带过滤的量化桥梁以及一个用于硬件映射的进化后端。一项实证研究分析了INT4 PTQ如何影响NAS帕累托空间，发现FP32零样本代理在覆盖帕累托空间方面可能优于专用的INT4训练代理。
-
边缘AI的增长不会消除对大型AI数据中心的需求
边缘AI是指在靠近数据源而非集中式数据中心运行AI工作负载，目前正经历快速增长。这种趋势通过将数据保留在本地并通过内部网络访问，提供了增强的安全性并降低了延迟。尽管有这些优势，但由于规模经济、物理安全需求和运营效率等因素，大型AI数据中心预计仍将至关重要，这表明边缘和集中式AI基础设施之间是一种互补而非替代关系。
-
新框架利用LLM为TinyML边缘设备选择可解释AI
研究人员开发了一个新的框架，用于为TinyML边缘设备选择可解释AI（XAI）方法，特别适用于临床应用。该框架利用大型语言模型（LLM）通过将定性利益相关者偏好映射到候选XAI方法来指导设计过程。然后，它采用基于Pareto的优化来揭示解释保真度、稳定性和部署成本之间的权衡，旨在识别资源受限环境下的高效解决方案。
-
Apple在中国集成Qwen AI；喀拉拉邦部署AI哨兵用于驱赶野生动物
Apple正将其Qwen AI模型集成到中国市场的Mac设备中，以增强Siri和写作工具等功能。此举旨在改善用户体验并提升在中国市场的竞争力。此外，在喀拉拉邦，AI驱动的哨兵正被部署，利用多频音频驱赶野生动物远离人类聚居区，展示了边缘AI在保护工作中的应用。
-
三星发布 AI 专用内存技术，影响消费者价格
三星发布了新的内存和存储技术，包括 zHBM，该技术将 HBM 内存直接堆叠在 AI 加速器之上，以将性能提高八倍。该公司还推出了 V10 BV-NAND，具有超过 400 层堆叠内存层，以及面向边缘 AI 环境的 zNAND-O。此外，三星展示了 LPDDR5X-PIM，这是首款具有集成处理能力的 LPDDR 内存。然而，这些进步主要面向 AI 数据中心，可能会加剧目前 DDR5 等消费级内存的短缺和高价。
-
NVIDIA Vera存储提升AI性能；恩智浦（NXP）考虑收购安霸（Ambarella）
NVIDIA的Vera存储技术已展示出显著的性能提升，在AI工作流中提供2-3倍更快的加密、压缩和完整性检查速度。此项进展旨在使AI原生存储解决方案更加实用。在另一项独立发展中，恩智浦半导体（NXP Semiconductors）据报道正与安霸（Ambarella）进行高级收购谈判，此举将巩固其在汽车和边缘AI芯片市场的领导地位。
-
AnyLog 边缘数据结构被提出作为分布式人工智能系统的解决方案
一篇新论文介绍 AnyLog 边缘数据结构，这是一个基于代理和边缘的平台，旨在管理源头处的运营数据。该平台旨在通过将分布式数据、计算资源和服务呈现为一个逻辑系统来克服集中式架构的局限性。主要功能包括分布式元数据层、虚拟数据湖和统一命名空间，使授权用户和 AI 代理能够在不知道其位置的情况下访问和操作分布式资源，从而降低延迟并提高弹性。