人工智能实战

OpenPAI架构与功能简介

OpenPAI是由微软亚洲研究院和微软（亚洲）互联网工程院联合研发的，支持多种深度学习、机器学习及大数据任务，可提供大规模GPU集群调度、集群监控、任务监控、分布式存储等功能，且用户界面友好，易于操作。

OpenPAI的架构如下图所示，用户通过Web Portal调用REST Server的API提交作业（Job）和监控集群，其它第三方工具也可通过该API进行任务管理。随后REST Server与Launcher交互，以执行各种作业，再由Launcher Server处理作业请求并将其提交至Hadoop YARN进行资源分配与调度。可以看到，OpenPAI给YARN添加了GPU支持，使其能将GPU作为可计算资源调度，助力深度学习。其中，YARN负责作业的管理，其它静态资源（下图蓝色方框所示）则由Kubernetes进行管理。

OpenPAI使用体验 对于一个之前没有接触过GPU调用以及人工智能学习的trainer来说；OPENPAI较容易上手；只需要通过配置一些VS的环境即可实现任务的上传；并且整个训练过程容易理解；因为之前没有接触过类似的人工智能平台；所以无法给出对比分析尽请见谅。

NNI架构与功能简介 NNI (Neurol Network Intelligence) 是微软开源的自动机器学习工具。与当前的各种自动机器学习服务或工具相比，有非常独特的价值。NNI 支持私有部署。整个部署也很简单，使用 pip 即可完成安装。 与大部分现有的自动机器学习服务与工具不同，NNI 需要用户提供训练代码，并指定超参的搜索范围。这样的好处在于，NNI 几乎是通用的工具，任何训练任务都可以使用 NNI 来进行超参搜索。但另一方面，NNI 的通用性，也带来了一定的使用门槛。使用 NNI 需要有基本的模型训练的经验。

NNI使用体验及对比 本人之前使用过MATLAB的NN神经网络工具箱进行过深度学习的训练；和现在使用NNI对比；NNI需要更多的模型细节；同时它也有了更好的通用性；对于较为专业的使用者；NNI有更好的使用体验。而之前使用的MATLAB的NN神经网络工具箱在针对一些较简单的应用问题时有更快的运行效率；并且由于MATLAB较好的数据处理能力；可以让数据集与模型的配合度更高。 MATLAB的NN神经网络工具箱使用界面