5. 适用于移动端的框架 - 模型的部署 - 《深度学习教程整理》

各大公司开源了自己的移动端深度学习框架，其中包括TensorFlow Lite、Caffe2、MACE、paddle-mobile(MDL)、FeatherCNN、NCNN等。我们参考开源的测试结果，结合自己整理的数据，针对主流的移动端深度学习框架进行简单对比及介绍。

CPU：kryo&2.15GHz*2 (ms)

CPU：高通835 (ms)

移动端的框架，基本不支持训练，只支持前向推理。

这两个框架都是腾讯出的，FeatherCNN来自腾讯AI平台部，ncnn来自腾讯优图。

重点是：都开源，都只支持CPU

ncnn开源早点，文档、相关代码丰富一些，使用者相对多一些。FeatherCNN开源晚，底子很好，从测试结果看，速度具有微弱优势。

它有几个特点：异构加速、汇编级优化、支持各种框架的模型转换。

小米支持的GPU不限于高通，这点很通用，很好，比如瑞芯微的RK3299就可以同时发挥出cpu和GPU的好处来。

在移动端，caffe2、tensorflow lite都可以考虑，只是可能没有以上的框架效率高。

另外据说支付宝有xNN的深度框架，商汤有PPL框架，这两个都是企业自用没有开源。

国内杭州九言科技的开源方案，用的人不多，可以参考。

上面的大部分框架都是主要面向android的，但是用于arm-Linux也是可以的。

现在越来越多的厂商开源移动端的深度学习框架，对于从业者是好事，有更多的选择，不用从头造轮子。

针对目前开源的移动端深度学习前向框架，结合我们使用、测试的结果，我们推荐以下几个框架。

第一个高效使用的移动端开源库，支持模型丰富，更新快，文档逐渐完善，被大家采用较多，遇到坑相对少。

性能优秀，支持GPU，但是刚刚开源，可能会遇到一些开发问题。

百度出品，一定的品质保证，更新较快。