基于深度学习的公交客流统计解决方案简介

客流统计系统是用机器代替人工，对公交车每个站点和每条线路的上、下车辆的人数进行实时的自动统计，同时将数据发送到后端的系统管理平台进行存储，分析数据并形成数据报表。由此，监控中心能即时了解到每辆车的载客状况、各站点的拥挤程度等数据。利用这些数据可以优化公交线路、分析与预测公交客流的实时动态、决策和调控公交的调度，在使城市交通更加智能化的同时也为城市建设规划更加人性化、民众出行更便利做出贡献。

如图 1 所示，客流统计平台由四个部分组成，包括升级管理平台、客流统计数据平台、终端升级管理程序及客流统计程序。下面简要介绍数据汇总平台及升级管理平台，最后重点介绍客流统计终端相关技术及实现方案。

客流统计数据平台接收终端客流统计程序的计数结果，并对数据进行汇总及分析，并通过 WEB 的方式展示给客户。为了满足客流计数算法的快速学习迭代，平台支持调取终端视频，将调取的视频进行作为数据样本，对模型进行迭代优化，保证模型的适应能力，提高计数精度。

为保证终端程序的正常运行，并进行无值守升级，平台配套了升级管理平台，升级管理平台由两部分组成，包括升级管理后台及终端升级管理程序，升级管理后台负责设置并查看终端的运行情况，终端升级管理程序负责终端程序版本管理，配置管理，客流统计程序监控，重要事件报送等相关功能，满足了终端程序升级及监控的需求，保障了终端程序的正常运行，满足程序及模型快速变更的需求。

终端模块以 IMX6Q 的 CPU 为计算核心，采用 VPU,IPU 作为辅助，结合多级流水，多线程并行等优化方法，同时对算法进行了深度优化，对目标检测模型进行深度裁剪，最终在以 IMX6Q 为核心的设备上实现了基于深度学习的客流计数算法。

终端设备使用 IMX6Q 为核心，搭配基础组件组成核心构件。此外，还包括多路视频采集、GPIO 控制输入、外部存储、4G 无线网络、Wifi 无线网络及 CAN 总线输出等扩展设备。

客流计数程序不使用任何的临时线程，避免了线程的反复创建及销毁带来的性能损失。设计中主要包括如下三类线程：

整体流程划分为视频采集、图像预处理、目标检测、目标跟踪及结果输出（包括统计结果及视频输出）等阶段，各阶段使用典型的生产者消费者模式进行并行处理，巧妙地设计数据交互方式，满足数据交互需求。 使用多级流水，可以减低 IO 操作的等待时间，将同步操作转换为异步操作，充分利用 CPU 资源，使用多级流水操作几乎可以消除 IO 带来的延迟影响，实现数据采集及结果保存零消耗，极大地提高了单位时间内数据处理的吞吐量。

参考并集中测试并分析了开源的神经网络库加速方案，如 OpenBlas、NNPACK 及 NCNN, 使用 NEON、多线程并行、数据 CACHE 优化等方法重构如下操作：

通过优化后的算法相比普通的实现方式性能提高 15 到 20 倍，除使用上述的并行优化外，还有大量的计算过程优化，如合并操作，将 batch norm 和 conv 进行合并，也使用了参数优化，计算展开，空间换时间，中间参数缓存等优化方法。