开源算法体系OpenMMLab

图片这些都是深度学习框架。这篇文章主要介绍OpenMMLab框架。

OpenMMLab诞生于2018年，是一个由中国开发者主导，有国际影响力的计算机视觉开源算法体系。并在2022年视觉人工智能大会上OpenMMLab2.0发布。

每一种计算机视觉任务都对应OpenMMLab在github上的一个开源算法库。

OpenMMLab涵盖了图像分类、目标检测、 目标分割、姿态估计、视频理解、OCR、3D目标检测、3D人体姿态估计、模型轻量化、自监督学习、少样本学习、光流估计、预训练、多模态、AIGC、模型终端推理部署等各种计算机视觉任务。

 MMDetection可以解决目标检测，实例分割，全景分割和目标追踪任务。

github链接：https://github.com/open-mmlab/mmdetection

github链接：https://github.com/open-mmlab/mmyolo​​​​​​

github链接：https://github.com/open-mmlab/mmocr 

多用于自动驾驶领域。github链接：https://github.com/open-mmlab/mmdetection3d

​

 github链接：https://github.com/open-mmlab/mmrotate

github链接：https://github.com/open-mmlab/mmsegmentation

​

github链接：https://github.com/open-mmlab/mmpretrain 

用MMPretrain可以实现图像分类，图像描述，视觉问答，视觉定位和检索

​

​

 github链接：https://github.com/open-mmlab/mmpose

github链接：https://github.com/open-mmlab/mmhuman3d

github链接：https://github.com/open-mmlab/mmsegmentation

github链接：https://github.com/open-mmlab/mmagic ​​​​​​

由于这些算法需要实时响应，所以需要直接在各种硬件上。

 硬件指PC、浏览器、手机APP、微信小程序、服务器、嵌入式开发板无人车、无人机、Jetson Orin Nano、树派、机械臂、物联网设备

模型部署面对的挑战：在本地终端推理，硬件和芯片非常多样，算力也很薄弱。

github链接：https://github.com/open-mmlab/mmdeploy