电子发烧友网 > 嵌入式技术 > 正文

Tengine是什么?最好用的Arm嵌入式系统AI框架是它吗?

? 2018年09月21日 11:26 ? 次阅读

  边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的应用革命和商业机会。那么在边缘设备部署AI应用的瓶颈都有哪些?

  ●有人有现成的芯片和应用场景,却为缺乏算法和平台苦恼。

  ●有人有自己的算法,却为缺乏一个好用的嵌入式跨平台框架而苦恼。

  ●有人有自己的算法和硬件平台,却为嵌入式平台有限算力苦恼。

  OPEN AI LAB看到了业界痛点,顺应市场需求推出了专为嵌入式平台设计的AI推理框架——Tengine。

  专门针对Arm嵌入式设备优化的神经网络推理引擎

  OPEN AI LAB于2016年12月成立,由Arm中国联合产业伙伴发起,致力于推动芯片、硬件、算法、软件整个产业链的深度合作,加速人工智能产业化应用部署和应用场景边界拓展。Tengine便是一款轻量级模块化高性能的神经网络推理引擎,专门针对Arm嵌入式设备优化。完美支持Arm平台,支持Arm Cortex CPU,Arm Mali GPU,Arm DLA,第三方DSP,堪称兼容“全能王”。

  而开发者可以使用Tengine一网打尽主流框架模型和嵌入式操作系统,还能异构调度平台里的各类硬件,充分利用硬件算力。此外,Tengine还提供了常见AI应用算法,包括图像检测,人脸识别,语音识别等。不懂AI没关系,上手就能跑AI应用。Tengine同时还支持各类常见卷积神经网络,包括SqueezeNet,MobileNet,AlexNet,ResNet等,支持层融合、8位量化等优化策略。并且通过调用针对不同CPU微构架优化的HCL库,将Arm CPU的性能充分挖掘出来。

  Tengine的“发动机”——HCL计算库

  有人说NCNN是一个为手机端极致优化的高性能神经网络前向计算框架,从设计之初深刻考虑手机端的部署和使用。在过去,NCNN确实是这样的,只是那时候还没有Tengine。

  现在,HCL计算库作为Tengine的插件,是性能最快的Arm CPU NN计算库,并且支持动态8位量化计算,精度几乎不变,相比于NCNN最快能带来2-3倍的性能提升,内存使用减少为三分之一。

  Tengine是什么?最好用的Arm嵌入式系统AI框架是它吗?

  *Tengine性能数据A72,A53性能基于RK3399平台测试,A17性能基于RK3288平台测试

  NCNN数据为2018年9月7日

  HCL INT8量化计算精度变化

  *采用ILSVRC2012_VAL数据集测试5000张图片得到量化精度测试结果如下

  Tengine + HCL,不同人群的量身定制

  Tengine作为AI 应用框架,不仅对上层应用提供推理API接口,支持主流模型与格式,还在下层定义硬件接口,适配嵌入式平台各类计算模块,此外支持同时运行多个AI应用算法以及调用多个计算模块计算。因此,Tengine的面世对AI开源生态具有里程碑的意义。有了Tengine,应用和算法厂商可以摆脱复杂的嵌入式平台适配工作,配合HCL直接挖掘硬件的全部潜能;有了Tengine,芯片厂能够站在Arm 嵌入式AI生态的肩膀上,以最快的速度顺利将芯片推向市场,在边缘AI应用中部署。作为OPEN AI LAB为边缘AI应用部署开发的两大利器,Tengine + HCL将助力嵌入式人工智能产业加速向前推进,为最终实现万物智能贡献力量。

技术专区

关注电子发烧友微信

有趣有料的资讯及技术干货

下载发烧友APP

打造属于您的人脉电子圈

关注发烧友课堂

锁定最新课程活动及技术直播
收藏 人收藏
分享:

评论

相关推荐

UltraSoc嵌入式分析技术已授权Kraftw...

Kraftway在IT服务与集成、数据保护、信息安全等方面拥有特强的实力,该公司设计并提供了一系列硬...

发表于 2018-09-21 11:28 ? 0次阅读
UltraSoc嵌入式分析技术已授权Kraftw...

为什么__libc_init_array会导致异常?

发表于 2018-09-21 10:32 ? 26次阅读
为什么__libc_init_array会导致异常?

ARM9 S3C2410控制GPRS模块实现的车...

基于 ARM 的北斗导航 / GPRS / GIS 车辆监控系统采用 GPRS 和 Internet...

发表于 2018-09-21 07:38 ? 46次阅读
ARM9 S3C2410控制GPRS模块实现的车...

Ampere Computing推出了首批采用A...

据国外媒体报道,英特尔前总裁蕾妮·詹姆斯(Renee James)领导的初创公司Ampere Com...

发表于 2018-09-20 16:52 ? 43次阅读
Ampere Computing推出了首批采用A...

请问DSP与ARM之间的高速互联有什么方式?

发表于 2018-09-20 14:14 ? 95次阅读
请问DSP与ARM之间的高速互联有什么方式?

英特尔前总裁发布Arm服务器芯片,挑战老东家霸主...

由前英特尔总裁Renee James领导的半导体公司Ampere正式公布公司首款ARM架构64位服务...

发表于 2018-09-20 09:56 ? 260次阅读
英特尔前总裁发布Arm服务器芯片,挑战老东家霸主...

STM32F103RB的中断优先级

发表于 2018-09-19 14:22 ? 109次阅读
STM32F103RB的中断优先级

谁才是微小型嵌入式系统的最佳选择?

只有对手才真正了解对手,或许是RISC-V的成长速度让ARM感受到了威胁,2018年6月底,ARM建...

发表于 2018-09-19 10:04 ? 149次阅读
谁才是微小型嵌入式系统的最佳选择?

分析ARM外设flash及SDRAM的地址连接

先提一下位宽的概念,对于具体器件而言,它的位宽是一定的,所谓位宽,指的是读/写操作时,最小的数据单元...

发表于 2018-09-19 09:41 ? 60次阅读
分析ARM外设flash及SDRAM的地址连接

基于ARM的嵌入式系统CF卡与CPLD连接技术详...

随着应用需求的不断提高,许多嵌入式系统在应用时都要求带有扩展的大容量存储器来存储数据。CF 卡(Co...

发表于 2018-09-18 17:18 ? 99次阅读
基于ARM的嵌入式系统CF卡与CPLD连接技术详...

一个奇怪的ARM网络通信崩溃问题:ARM和电脑的通信信连接后ARM会报错

发表于 2018-09-18 15:17 ? 60次阅读
一个奇怪的ARM网络通信崩溃问题:ARM和电脑的通信信连接后ARM会报错

e络盟供应Ultra96?开发板为AI 设计提速

Premier Farnell 和e络盟全球解决方案开发总监 Cliff Ortmeyer表示:“作...

发表于 2018-09-18 14:38 ? 542次阅读
e络盟供应Ultra96?开发板为AI 设计提速

日本富士通发布最强ARM处理器,恰恰证明申威的先...

事实上,A64FX只是超算加速器,并不适合作为通用服务器芯片。A64FX借鉴了申威26010的设计思...

发表于 2018-09-18 11:04 ? 690次阅读
日本富士通发布最强ARM处理器,恰恰证明申威的先...

针对安全应用的恩智浦Freedom K82F开发板

发表于 2018-09-17 17:41 ? 30次阅读
针对安全应用的恩智浦Freedom K82F开发板

ARM编译器不工作

发表于 2018-09-17 11:49 ? 22次阅读
ARM编译器不工作

基于ISD9160的语音控制灯设计

发表于 2018-09-16 22:12 ? 201次阅读
基于ISD9160的语音控制灯设计

人工智能正如火如荼 首届Arm人工智能开发者全球...

9月14日首届Arm人工智能开发者全球峰会今天在上海圆满举办。

发表于 2018-09-16 10:41 ? 635次阅读
人工智能正如火如荼 首届Arm人工智能开发者全球...

Tengine,可能是最好用的Arm嵌入式系统A...

边缘AI应用正处于大规模落地的前夕,巨大的IoT市场和革命性的AI技术产生的剧烈交互将带来前所未有的...

发表于 2018-09-14 18:29 ? 638次阅读
Tengine,可能是最好用的Arm嵌入式系统A...

OPEN AI LAB联合Arm中国、瑞芯微发布...

2018年9月14日,上海讯,OPEN AI LAB联合Arm中国、瑞芯微在首届“Arm人工智能开发...

发表于 2018-09-14 18:23 ? 380次阅读
OPEN AI LAB联合Arm中国、瑞芯微发布...

瑞芯微联合Arm、OPEN AI LAB首发AI...

导读: 在“Arm人工智能开发者全球峰会”上,瑞芯微Rockchip、Arm中国、OPEN AI L...

发表于 2018-09-14 18:02 ? 871次阅读
瑞芯微联合Arm、OPEN AI LAB首发AI...

2018 Arm人工智能开发者全球峰会圆满举办

首届Arm人工智能开发者全球峰会今天在上海圆满举办。此次峰会由上海市徐汇区政府指导,Arm中国及Ar...

发表于 2018-09-14 17:39 ? 821次阅读
2018 Arm人工智能开发者全球峰会圆满举办

一种基于ARM S3C2410X和Linux的嵌...

基于同轴电缆的视频监控系统结构复杂、稳定性差、可靠性低且价格昂贵,因而出现了嵌入式网络摄像机等远程...

发表于 2018-09-14 17:25 ? 54次阅读
一种基于ARM S3C2410X和Linux的嵌...

【实战经验整理下载】ARM全国产云平台部署容器

发表于 2018-09-14 14:45 ? 285次阅读
【实战经验整理下载】ARM全国产云平台部署容器

天津飞腾最新Arm服务器处理器FT-2000 6...

Arm服务器CPU在高通等国际厂商宣布退出后,仅剩下天津飞腾、华为、华兴通等为数不多的国产芯片企业在...

发表于 2018-09-14 14:13 ? 623次阅读
天津飞腾最新Arm服务器处理器FT-2000 6...

ARM嵌入式Linux系统开发详解

发表于 2018-09-14 08:57 ? 114次阅读
ARM嵌入式Linux系统开发详解

好资料继续放送!ARM体系结构与编程

发表于 2018-09-13 16:21 ? 305次阅读
好资料继续放送!ARM体系结构与编程

采用密码算法的智能卡的应用

消息认证码实际上是对消息本身产生的一个冗余的信 息,消息认证码是利用密钥对要认证的消息产生新的数据块...

发表于 2018-09-13 09:02 ? 121次阅读
采用密码算法的智能卡的应用

Arm邀你共进物联网数据新世界

随着全球领先的芯片技术和物联网服务公司Arm收购Treasure Data,历史发展将迈入新阶段。这...

发表于 2018-09-12 16:26 ? 750次阅读
Arm邀你共进物联网数据新世界

基于S3C44BOX人机交互界面LCD触摸屏系统...

该模块整合了多项的实用界面,包含内建的10-Bit ADC.提供触控屏接口。OCMJ15X20D(...

发表于 2018-09-10 17:43 ? 144次阅读
基于S3C44BOX人机交互界面LCD触摸屏系统...

STM32单片机特性解析

其基于专为要求高性能、 低成本、低功耗的嵌入式应用专门设计的ARM Cortex-M内核,同时具有一...

发表于 2018-09-10 16:55 ? 269次阅读
STM32单片机特性解析

中国联通已完成BBF Cloud CO标准的样机...

中国联通牵头完成H.IPTV-TDES.6 "IPTV terminal device: Virtu...

发表于 2018-09-10 15:10 ? 354次阅读
中国联通已完成BBF Cloud CO标准的样机...

细数华为海思芯片和ARM内核

很多人对于华为海思芯片非常感兴趣,相关的讨论争论自然也不会少,在论坛上有时候也会看到。有人把它吹上天...

发表于 2018-09-10 09:15 ? 548次阅读
细数华为海思芯片和ARM内核

ARM学习出现的问题与解决方法

它尽量完整地记录了我从开始不懂ARM,到最终完成AT91SAM7S64各种外围实验的各个环节及整个过...

发表于 2018-09-09 09:48 ? 139次阅读
ARM学习出现的问题与解决方法

创新高节能指标电子系统使汽车节能大大提升

近年来使用汽车代步的人越来越多,但同时汽车也在无形中成为人类健康的隐形杀手。由于汽车发动机燃烧汽油而...

发表于 2018-09-09 08:37 ? 261次阅读
创新高节能指标电子系统使汽车节能大大提升

基于MCU52单片机在无线传感器网络演示系统中的...

无线传感器网络能够实时监测、感知和采集网络分布区域内的各种环境或监测对象的信息,并对这些信息进行处理...

发表于 2018-09-07 15:25 ? 115次阅读
基于MCU52单片机在无线传感器网络演示系统中的...

基于嵌入式ARM微处理器的指纹识别方案

传统的指纹识别系统都是基于PC机的,这种系统具有识别速度快、样本存储量大、软件设计技术成熟等优点。但...

发表于 2018-09-07 08:52 ? 346次阅读
基于嵌入式ARM微处理器的指纹识别方案

国内市场竞争激烈,Arm未来之路在何方?

在众科技企业纷纷布局AI的时代趋势下,Arm自然不甘人后,但“博采众长”的新品却没有在第一时间召唤出...

发表于 2018-09-06 17:31 ? 1397次阅读
国内市场竞争激烈,Arm未来之路在何方?

Arm Pelion 物联网平台,可帮助企业获得...

物联网(IoT)的真正价值蕴藏在部署于全球网络中的数十亿台物联网设备之中——即这些设备内部尚未开发(...

发表于 2018-09-06 08:00 ? 247次阅读
Arm Pelion 物联网平台,可帮助企业获得...

物联网和数据将引发信息革命重新定义所有行业

随着全球领先的芯片技术和物联网服务公司Arm收购Treasure Data,历史发展将迈入新阶段。这...

发表于 2018-09-05 15:55 ? 327次阅读
物联网和数据将引发信息革命重新定义所有行业

基于ARM架构的国产芯片亮相,一个可能是全世界最...

基于ARM架构的国产芯片终于在芯片市场撕开了一道口子,尽管,目前它仍小到可以忽略。

发表于 2018-09-04 17:10 ? 390次阅读
基于ARM架构的国产芯片亮相,一个可能是全世界最...

教你用ARM嵌入式设计视频监控系统

目前,嵌入式系统在视频监控中的应用越来越广泛。伴随着网络的强大功能,视频监控更侧重网络监控方案,要求...

发表于 2018-09-03 08:39 ? 703次阅读
教你用ARM嵌入式设计视频监控系统

嵌入式技术在各行业各业应用全面开花,推动了智能化...

近期,intel、微软、AMD、恒研等企业一系列动作显示,嵌入式技术在各行业各业的应用已全面开花,...

发表于 2018-09-02 11:38 ? 447次阅读
嵌入式技术在各行业各业应用全面开花,推动了智能化...

新的芯片架构正在来临 以往主流芯片架构正在悄然巨...

EETOP翻译自semiengineering作者:semiengineering 来源:EETO...

发表于 2018-09-02 10:32 ? 656次阅读
新的芯片架构正在来临 以往主流芯片架构正在悄然巨...

基于Cortex-M内核的灵动微新品MCU集体亮...

2018年8月29日,在“2018灵动MM32协作大会”上,灵动微电子董事长兼总裁吴忠洁博士表示,2...

发表于 2018-08-31 09:58 ? 2589次阅读
基于Cortex-M内核的灵动微新品MCU集体亮...

基于嵌入式技术的LED显示屏控制系统浅析

嵌入式系统广义上认为是一个由系统硬件与系统软件有机组成并且具有高可靠性和实时性的可控系统,设计用于...

发表于 2018-08-30 17:23 ? 176次阅读
基于嵌入式技术的LED显示屏控制系统浅析

Arm正实现从端到云的支持,发掘下一代技术架构

以“战胜”命名的新一代Arm芯片,从2017年到2022年预计将有10倍性能的增长。

发表于 2018-08-29 18:03 ? 980次阅读
Arm正实现从端到云的支持,发掘下一代技术架构

ARM发布出最新A76核心,能源效率提升了40%...

据披露的数据,ARM发布的A76核心最高主频可以达到3.0GHz,性能较上一代的A75提升了35%,...

发表于 2018-08-29 14:44 ? 138次阅读
ARM发布出最新A76核心,能源效率提升了40%...

AI芯片大战后,ARM的“just enough...

最近,ARM进一步公开了ML Procesor的一些信息。EETimes的文章“Arm Gives ...

发表于 2018-08-29 08:55 ? 121次阅读
AI芯片大战后,ARM的“just enough...

Cortex-A、Cortex-R、Cortex...

ARM的技术将一个充满活力的生态系统与超过1000个合作伙伴相结合,提供芯片,开发工具和软件,以及超...

发表于 2018-08-28 17:20 ? 441次阅读
Cortex-A、Cortex-R、Cortex...

ARM中的5种异常模式和7种中断源

关于各种中断在中断返回时还需要给LR减去一个不同的偏移量的问题我觉得没必要深入研究了,这还要涉及到A...

发表于 2018-08-27 17:45 ? 439次阅读
ARM中的5种异常模式和7种中断源

如果将8/16位微控制器升级成32位架构将会发生...

闪存占用量小:储存应用程序代码所需的闪存尺寸是影响系统总成本的另一个重要因素。考虑到32位指令比8位...

发表于 2018-08-27 17:26 ? 153次阅读
如果将8/16位微控制器升级成32位架构将会发生...

Arm发展史,浅谈Arm成功秘诀

Arm正在实现从端到云的支持,支持合作伙伴使用Arm或者自己的微架构。

发表于 2018-08-27 16:58 ? 715次阅读
Arm发展史,浅谈Arm成功秘诀

基于带处理器和FPGA的新型SoM组合设计

很多嵌入式设计使用基于微处理器和微控制器的单板计算机 (SBC) 和模块化系统 (SoM)(例如,请...

发表于 2018-08-27 09:46 ? 1011次阅读
基于带处理器和FPGA的新型SoM组合设计

ARM发布第一代面向AI和机器学习的处理器,架构...

存储器的访问模式完全是可静态分析的,并且很容易理解和映射,但是许多设备没有利用这一点。 CPU具有复...

发表于 2018-08-27 08:32 ? 685次阅读
ARM发布第一代面向AI和机器学习的处理器,架构...

台湾分析师:进击的大陆半导体,差在哪里?

中美发展人工智能及相关芯片之情势,由于2020年全球人工智能将创造3,000亿美元的商业价值,202...

发表于 2018-08-24 15:58 ? 2404次阅读
台湾分析师:进击的大陆半导体,差在哪里?

Arm首次发布CPU路线图,有着怎样的重大意义?

Arm今日公开自当前至2020年Arm终端事业部的CPU前瞻性路线图与计算性能数据,旨在展望未来基于...

发表于 2018-08-24 15:21 ? 774次阅读
Arm首次发布CPU路线图,有着怎样的重大意义?

儿童科技玩具你必须要看看ARM Powered科...

儿童科技玩具什么比较好?什么儿童科技玩具最有意义?童年充满了美丽的梦幻,是由初生嫩芽和含苞花蕾织就的...

发表于 2018-08-24 08:46 ? 573次阅读
儿童科技玩具你必须要看看ARM Powered科...

Arm首发CPU路线图 为用户提供突破性性能

Arm近日公开自当前至2020年Arm终端事业部的CPU前瞻性路线图与计算性能数据,旨在展望未来基于...

发表于 2018-08-23 10:37 ? 643次阅读
Arm首发CPU路线图 为用户提供突破性性能

ARM发布了2020年客户端CPU IP性能路线...

今年5月,ARM发布了下一代Cortex A76 CPU,它可能是ARM历史上最大的一代性能飞跃。A...

发表于 2018-08-23 08:51 ? 712次阅读
ARM发布了2020年客户端CPU IP性能路线...

e络盟发售适于各种物联网应用的Microchip...

全球电子元器件与开发服务分销商e络盟宣布发售MicrochipSAM L10 和 SAM L11 M...

发表于 2018-08-22 15:27 ? 1868次阅读
e络盟发售适于各种物联网应用的Microchip...

Arm公开至2020年的CPU路线图,预测未来两...

从ARM公布出的路线图中我们可以看到,在2019年他们将推出基于7nm工艺代号为Deimos的处理器...

发表于 2018-08-22 15:00 ? 582次阅读
Arm公开至2020年的CPU路线图,预测未来两...

ARM公司联合创始人:中国将取代美国主导芯片市场

中国正在努力壮大半导体、微处理器和5G等行业。中国创立了470亿美元的国家集成电路产业投资基金股份有...

发表于 2018-08-22 09:43 ? 2581次阅读
ARM公司联合创始人:中国将取代美国主导芯片市场

三星CPU架构细节曝光,挑战高通和华为的武器?

今年HotChips会议的重头戏之一,我们很高兴终于看到三星披官方披露了其今年最新新的CPU设计Ex...

发表于 2018-08-22 08:59 ? 4257次阅读
三星CPU架构细节曝光,挑战高通和华为的武器?

我们能否完全避免使用美国产品?

据报道,你当然可以淘汰很多美国产品,但你可能也会因此放弃许多令人惊叹的功能。

发表于 2018-08-21 16:31 ? 947次阅读
我们能否完全避免使用美国产品?

青莲云CEO董方:软件定义的物联网安全有十大关键...

Gartner的研究显示,35%的企业认为安全是物联网部署获得成功的最大障碍因素。为了解决物联网终端...

发表于 2018-08-21 10:32 ? 2485次阅读
青莲云CEO董方:软件定义的物联网安全有十大关键...

安谋酝酿反攻 破天荒公布CPU IP蓝图

芯片设计IP授权业者安谋(ARM)破天荒公布未来2年CPU IP产品蓝图,包括锁定5G随时连网行动装...

发表于 2018-08-21 09:57 ? 563次阅读
安谋酝酿反攻 破天荒公布CPU IP蓝图

ARM首次公布了其到2020年为止的CPU规划图...

在2020年 ARM 将推出基于7nm和5nm工艺的“Herculues”核心,其性能相比于“Dei...

发表于 2018-08-21 09:55 ? 581次阅读
ARM首次公布了其到2020年为止的CPU规划图...

科技精选:ARM首次公布CPU规划图、三星电子在...

根据外媒 iCulture 的报道,由于 iPad 电池爆炸并向空气中释放潜在的有害物质,苹果位于阿...

发表于 2018-08-21 08:41 ? 1196次阅读
科技精选:ARM首次公布CPU规划图、三星电子在...

一文教你如何区别ARM Cortex系列处理器

ARM公司在经典处理器ARM11以后的产品改用Cortex命名,并分成A、R和M三类,旨在为各种不同...

发表于 2018-08-20 10:10 ? 205次阅读
一文教你如何区别ARM Cortex系列处理器

一招教你设计SoC FPGA的工业和马达控制?

工业系统通常由微控制器和FPGA器件等组成,美高森美(Microsemi )基于 SmartFusi...

发表于 2018-08-20 09:24 ? 848次阅读
一招教你设计SoC FPGA的工业和马达控制?
a计划博彩 a计划博彩,连环夺宝注册送,唯品会注册送60元利来电游官方