海思A²MCU嵌入式AI,携手TCL空调探索智慧节能9
AI如何在数以百亿的小算力MCU嵌入式应用中落地?海思正在给出自己的答案。海思A²MCU聚焦行业专用(Application Specific)和嵌入式AI技术(Artificial Intelligence),将AI领域超轻量级的技术框架、极致性能的推理要求、方便快速的部署能力与MCU深度融合,为MCU行业客户探索智能化应用提供新的选择。在TCL小蓝翼P7新风空调发布会上,海思与TCL空调联合发布“A²MCU,让空调越用越节能”解决方案,正是A²MCU的初露锋芒。 海思MCU产品领域总经理陈桂培发布A²MCU嵌入式AI 为什么嵌入式AI关注度越来越高? 嵌入式AI是将AI算法嵌入到端侧设备中,使得设备能够具备智能化、自动化和高效化的能力。AI的历史可以追溯到20世纪50年代,进入21世纪,受益于算力的迅猛提升,以及大数据、云计算、深度学习等技术发展,人工智能在图像识别、语音识别、自然语言处理、机器人、自动驾驶等领域取得了突破性的进展。随着应用的拓展和渗透,端侧AI近几年逐渐成为业界热点。相对于数百万到千万的AI服务器,端侧AI MCU的数量级将高达数以百亿。基于现有的AI范式,由于资源的限制、模型的适应性等因素,AI越向下越难做,但同时AI下沉带来的商业潜力也很大,因此将AI技术嵌入到端侧最底层的MCU芯片,已成为业界领先MCU企业都在探索的新方向。 基于MCU的AI方案在行业落地,会有哪些困难? 由于MCU硬件性能限制、AI软件的复杂度高、行业应用实时性要求高、能耗限制严格、数据安全性要求高,嵌入式AI在MCU的行业应用落地需要业务团队同时具备丰富的AI知识经验,以及嵌入式软硬件能力。 一方面开发团队与落地场景之间要展开深度合作。基于真实场景的基础数据及嵌入式AI团队提供的专业的定制化方案,才能真正解决问题,做出价值。正是基于此,海思已与TCL空调共建联合实验室开展空调智慧节能上的创新。 另一方面要能够实现AI模型到MCU的快速部署。通用AI模型往往并不是针对嵌入式应用设计,AI开发工具品类又非常庞杂,而MCU的RAM、Flash资源及CPU算力通常都非常受限,如何选择合适的AI模型和开发工具用来开发出解决特定场景问题模型,又如何将AI模型部署到受限资源的MCU上,这是一个复杂的工程。 海思A²MCU嵌入式AI通过哪些关键技术解决了这些问题? 海思嵌入式AI提供了超轻量级的AI技术框架、极致性能完全满足MCU的推理要求、并能够将多模型快速转换为代码并导入工程,开发者进行方便快速的产品部署。 1)极简框架:在MCU上部署的AI模型,转为网络层的运行代码后,直接调用RISC-V核的优化算子库,省去了模型解析器等一般复杂的框架。RISC-V的开源架构支持自定义指令集,能够更好的支持算子库的优化实现,这也是RISC-V相对于其他内核的一个关键优势。 2)极致性能:意味着在确保场景收益的前提下,将训练推理过程做到极简。包括但不限于: 训练模型优化:包括模型结构优化,减少内存读写和计算量;模型训练后量化,使模型更小,推理更快。算子的轻量化、内存优化以及深度性能调优:通过算子库轻量化、算子数据预重排与内存复用、使用算法减少乘法运算次数与内存访问的开销、深度算法调优减少运算次数,与访存开销进行平衡。 模型剪枝、压缩的轻量化 训练后量化,模型更小,推理更快 3)易开发部署:海思A²MCU嵌入式AI方案可提供多种模型的转换,例如通过TensorFlow Lite、PyTorch、MindSpore等开发的模型,可快速便捷的转成代码,并导入部署到工程代码中。 海思A²MCU嵌入式AI应用效果如何? 12月10日,在TCL小蓝翼P7新风空调发布会上,海思与TCL空调联合发布了“A²MCU,让空调越用越节能”解决方案,该方案基于空调环境、运行和目标参数,通过嵌入式AI算法对复杂工况进行学习,提高运行周期内的整体能效。通过业务场景和AI强化学习模型的深度融合,给空调产品的节能带来代级的差异化竞争力,最终达成调温阶段能耗降低16%的效果。 结语 万物智能时代,我们既需要云端大算力的训练推理,也离不开嵌入式AI在千行百业的端侧普惠应用。相对而言AI服务器的体量是百万~千万数量级,而小算力的MCU则是数百亿数量级,嵌入式AI在绿色节能、人机交互、故障预测、安全防护等行业显示出巨大的潜力。 在嵌入式AI技术中,AI和MCU的关系是相互促进、共同发展的,而嵌入式AI的难度也恰恰来自AI与MCU两个技术分方向的跨界与结合。海思在AI和MCU领域都有近十年的积累和丰富应用经验,致力于将以往经验和技术积累应用于小算力AI场景,和行业伙伴一起联合创新、创造增量价值。
Article classification:
MCU
|