公司新闻
基于英特尔OpenVINO工具包在边缘计算端的推理性能优化
日 期:2019-07-25
摘要随着增长越来越快的边缘计算数据的驱动使得在人工智能领域的深度学习应用从数据中心的服务器逐步转到边缘设备上,这种部署在边缘设备上的解决方案具有去中心化、降低数据传输延迟、降低成本等优点,因此逐渐成为当下人工智能OT的新趋势。
英特尔针对边缘设备计算力不足,平台架构不统一的问题,发布了基于多硬件平台计算机视觉处理的OpenVINO工具包。本文测试了OpenVINO工具包在英特尔 CPU架构与公版Caffe基于英伟达GPU架构的性能对比,结论显示经过OpenVINO优化后的神经网络模型在推理速度与精度上都有所提升
赛特斯在该实验的基础上研发了钓鱼防触电警报系统,目前已部署于某市级电网公司,部署以来,共成功劝离280余起钓鱼事件,辖区范围内未出现一起钓鱼触电事件。 
I. 引言
由于数据的蓬勃发展,不管是消费者数据还是行业数字化产生的数据,在边缘设备上产生了绝大部分的数据,因此也驱动了人工智能应用方向逐步转移并部署在边缘计算设备上,而达到“云边协同”的产品部署方案将是未来的趋势。但受限于边缘设备本身,不可避免会面临两个问题:一是受到边缘设备硬件体积的限制,其计算能力往往不及中心服务器,使之成为落地方案中的最大瓶颈;二是边缘设备硬件平台与软件环境的不统一,往往需要针对性地进行大量优化和修改工作。而英特尔基于深度学习视觉处理OpenVINO工具包,恰好解决了上述两个难题,真正使得深度学习训练出来的模型在边缘设备上易于部署成为现实。
性能方面,通过OpenVINO工具包可以利用英特尔的各种硬件资源部署模型并优化加速推理,包括CPU、iGPU、VPU、FPGA,这些硬件资源能够帮助开发者提升深度学习的不同算法在不同硬件设备上做推理的性能,而执行过程中支持异构处理和异步执行大大提高了模型场景的泛用性同时减少由于系统资源等待所占用的时间,提升了推理性能
另外,OpenVINO工具包使用了经过优化以后的OpenCV和OpenVX,使得即使在树莓派SoC板上通过VPU的扩展也能够有很好的表现。此外OpenVINO工具包还提供了很多应用示例和开发代码丰富了应用场景,同时也缩短开发时间。这些库都支持异构部署和执行,编写一次以后可以通过异构的插件方式跑在其他的硬件平台上,如FPGA、VPU
在深度学习方面,OpenVINO工具包包括了模型优化器、推理引擎以及超过20个预先训练不同应用场景下的模型,用户可以利用提供的这些工具,快速的实现基于深度学习自己的应用,而在深入了解OpenVINO之后,用户可以基于OpenVINO提供的OpenCV、OpeenVX的基础库,去开发自己特定的算法,实现自己的定制和创新,开发语言可以是Python、C++
II. 实验方案设计
本文设计的实验目的是验证OpenVINO工具包对英特尔 CPU架构深度学习平台上推理性能有多大程度的提升,推理精度的前后对比,以及与英伟达架构的GPU推理结果性能上的对比。
首先,我们选择深度学习中有广泛认可的物体识别模型Faster-RCNN作为模型训练和性能测试的基准算法。其次,我们基于英特尔至强Gold 6140处理器的服务器搭建两套实验环境,编号1、2,同时基于NVIDIA TITAN X搭建一套开发环境,编号3。三套环境都安装CentOS 7.4操作系统。再次,我们在编号1的环境中,安装OpenVINO工具包及英特尔优化版Caffe;在编号2的环境中安装公版py-faster-rcnn CPU_ONLY运行模式;在编号3的环境中安装公版的py-faster-rcnn GPU运行模式。三套环境都选用VGG16作为基准模型,且使用相同的Imagenet作为预训练模型。
实验环境搭建完成之后,我们将在三个环境中分别进行深度学习目标检测,并对比它们的计算速度与检测准确率。
III. 实验结果
本次实验使用的测试图片均为真实环境中由监控摄像机拍摄的人在钓鱼的图片,检测目标分为人和鱼竿两类。为了使目标清晰可见,将原分辨率长和宽分别为4608x3456像素的测试图片,均按照7x7裁剪并统一所防至829x622像素。
A. 英特尔优化版Caffe公开版Caffe推理速度对比
该项测试所有结果都在英特尔架构服务器上测得。测试结果为对同样的8张钓鱼图片推理时间的平均值,设置模型的输入图像scale=800,max_size=1200, 即图像按比例缩放,图像宽缩放到到800像素,如果图像长大于1200像素则按图像长缩放到1200像素,图像宽则使用图像长对应的比例进行缩放英特尔优化版Caffe与公开版Caffe推理结果对比见下表1.
 
Faster_rcnn_alt_opt
Faster_rcnn_end2end
英特尔 Optimized Caffe @ 英特尔 server
2.267 fps
2.375 fps
Public Caffe @ 英特尔 server
0.471 fps
0.540 fps
表1. 英特尔优化版Caffe与公开版Caffe的推理速度对比
B. 英特尔优化版Caffe和GPU服务器的推理速度对比
测试结果为对同样的8张钓鱼图片推理时间的平均值。使用与实验A.相同的方法对图像进行缩放。英特尔优化版Caffe与GPU服务器推理速度对比见下表2.
 
Faster_rcnn_alt_opt
英特尔 optimized Caffe
2.268 fps
Public Caffe @ GPU server
8.969 fps
OpenVINO @ 英特尔 server
12.302 fps
 表2.  英特尔优化版Caffe与GPU服务器的推理速度对比
C. 英特尔优化版Caffe和GPU服务器的推理精度对比
在精度测试中使用了三个数据集,均为使用7*7分割的子图像作为训练数据。第一个训练集共有2600张图片,其中1300张原图,加上1300张经过数据增强后的图片,数据增强方式仅使用高斯模糊。第二个数据集增加了数据量,共有3600张图片,其中1800张原图,以及1800张数据增强的图片。数据的标注种类为人和鱼竿两类。第三个数据集增加一个将人和鱼竿同时标注的类别。图片数量与第二个数据集相同,共3600张图片。实验结果见下表3-5. 

 表3. 英特尔优化版Caffe和GPU服务器的推理精度对比

数据集2
鱼竿
平均
FRCNN_alt_opt @ GPU server
0.882
0.892
0.890
FRCNN_alt_opt @ 英特尔 server
0.893
0.894
0.894
FRCNN_end2end @ 英特尔 server
0.903
0.899
0.901
表4.  英特尔优化版Caffe和GPU服务器的推理精度对比
 
数据集3
鱼竿
人+鱼竿
平均
FRCNN_end2end @ GPU server
0.888
0.823
0.886
0.865
FRCNN_end2end @ Intel server
0.887
0.831
0.901
0.873
表5.  英特尔优化版Caffe和GPU服务器的推理精度对比
IV. 结论
目标检测的输出结果如图1所示.
 
   根据以上的实验结果,可以得出以下结论:
在英特尔至强Gold 6140服务器上,使用英特尔优化版Caffe人工智能框架上跑的Faster-RCNN模型比公开版Caffe的推理性能提升约5倍,这有赖于位于英特尔优化版Caffe框架底层的英特尔数学核心加速库(Intel MKL/MKLDNN)起到加速计算的效果。
同时也能观察到英特尔优化版Caffe还是比GPU版本在推理上慢约4倍然后在使用OpenVINO工具包优化后的模型推理性能上有了很大的提升,相比GPU版本推理性能提升了约1.4倍如图2所示)
图2.  OpenVINO工具包在Faster-RCNN模型的推理性能实验结果
英特尔优化版Caffe相比于公开版Caffe的Faster-RCNN模型在检测精度上提升并不明显,比公开版Caffe上略高。经过OpenVINO工具包优化后的检测模型精度较公开版模型约提升1%如图3所示)。
图3.  OpenVINO工具包模型检测精度的实验结果
 
从图4可以看出增加数据集大小对实验结果精度有提升作用。后续的测试或项目开发可以通过增加数据集来进一步提高检测精度。
图4.  数据集增强对OpenVINO工具包模型检测精度的实验结果
 
V. 结束语
英特尔OpenVINO工具包,为深度学习应用在边缘设备部署铺平了道路,在提升计算速度、提高检测精度的同时,降低了硬件成本及研发费用,真正使得将深度学习应用部署于边缘设备端成为非常有竞争力的解决方案
 
作者A. 蔡旭阳,2011年毕业于南京邮电大学,后一直从事嵌入式系统及图像相关工作。2015年至2017年,参与国家电网智能可穿戴设备研发,负责深度学习视觉应用的设计与研发。目前就职于赛特斯信息科技股份有限公司,任先进技术及产品研究院研发经理,主要负责赛特斯公司深度学习视觉方向应用的研发与落地。项目应用于多个国家、地方海事局及多省市电网公司。参与发表多篇深度学习视觉相关软著与专利。
 
作者B. 马晓玮,在英特尔担任技术方案解决工程师一职,主要针对英特尔软硬件提供人工智能方案的技术优化和支持。他有14年IT从业经验,其中4年大数据、机器学习、深度学习等实战经验。目前正在参与项目有英特尔人工智能 Builder,旨在帮助中小企业优化和部署基于英特尔人工智能平台的技术解决方案。此外还多次作为演讲嘉宾参与英特尔各类人工智能大会及企业和学校的人工智能教学和培训活动。

 

分享到:
江苏省委常委、南京市委书记张敬华参观视察我司

2018年8月9日,中共江苏省委常委、南京市委书记张敬华一行莅临赛特斯参观指导。公司董事长逯利军、总经理钱培专...

了解点击详情 >
万博体育提款快吗