一种煤位信息确定方法、系统及存储介质【掌桥专利】

技术领域

本申请涉及图像识别技术领域，特别涉及一种煤位信息确定方法、系统及存储介质。

背景技术

在产煤过程中，需要在煤仓作为煤矿中煤炭的中间储运装置，煤仓煤位的深度检测在煤矿安全生产工作中发挥着重要作用。考虑到由于煤仓的垂深大，煤流下落时对仓壁的冲击，通常煤矿煤仓是简状体、锥状体或半桶半锥状混合体结构。伴随着卸煤流连续不断地输送到煤仓中，煤面距离煤仓顶部的距离越来越近，有煤料溢出(冒顶)的可能性，这会导致工作面的采煤无法及时运出，影响煤矿的生产效率。

为了防止煤流溢出，必须设定煤仓煤位深度估计的上限。另外，如果不对煤位信息进行检测，仓内底部有余煤时，卸煤后煤流的自然下落，仓体下部低料位煤可以对仓起到缓冲的作用，如果空仓，卸煤后从仓顶落下的煤块直接落在仓底表面，仓体很容易被破坏。此外通过检测煤仓煤位的深度值，实时掌握仓体内煤位信息的变化情况，可以为生产调度提供依据。因此，煤仓的煤位信息检测在煤矿安全生工作中发挥着重要作用。

在现有技术中，通常需要通过人工方式进行煤位信息的检测，受到人的主观意志影响，监测结果并不稳定，因此，如何提供一种煤位信息的确定方法，以实现对煤仓中的煤位信息的自动检测，提升监测结果的稳定性，是一亟待解决的技术问题。

发明内容

本申请提供一种煤位信息确定方法、系统及存储介质，用以实现对煤仓中的煤位信息的自动检测，提升监测结果的稳定性。

本申请提供一种煤位信息确定方法，包括：

获取目标煤仓在不同拍摄角度下的目标煤仓图像；

对各个目标煤仓图像进行预处理，以得到所述各个目标煤仓图像对应的灰度图像；

通过对所述各个目标煤仓图像对应的灰度图像进行识别，以确定各个目标煤仓图像对应的煤位信息；

根据各个目标煤仓图像对应的煤位信息对实际煤位信息进行预测。

本申请的有益效果在于：可以对不同拍摄角度下的目标煤仓图像进行预处理，得到目标煤仓图像对应的灰度图像，之后能够对灰度图像进行识别，从而确定各个目标煤仓图像对应的煤位信息，实现了对煤位信息的自动监测，提升了监测结果的稳定性，之后能够综合不同拍摄角度下的多张目标煤仓图像对应的煤位信息对实际煤位信息进行预测，从而使得预测值更加精确。

在一个实施例中，所述对各个目标煤仓图像进行预处理，以得到所述各个目标煤仓图像对应的灰度图像，包括：

通过边缘提取法对所述目标煤仓图像进行优化，得到边缘提取后的二值化图；

对所述二值化图进行形态学运算，以得到目标煤仓图像对应的灰度图像。

在一个实施例中，所述获取目标煤仓在不同拍摄角度下的目标煤仓图像，包括：

根据位于目标煤仓上方不同拍摄角度的煤位摄像机获取目标煤仓在不同拍摄角度下的目标煤仓图像。

在一个实施例中，所述方法还包括：

根据所述煤位摄像机的初始参数确定所述煤位摄像机的畸变参数。

在一个实施例中，通过对所述各个目标煤仓图像对应的灰度图像进行识别，以确定各个目标煤仓图像对应的煤位信息，包括：

根据所述摄像机的畸变参数将所述目标煤仓图像对应的灰度图像重构为三维图像；

根据重构的三维图像确定目标煤仓中的煤位高度信息。

在一个实施例中，所述根据所述摄像机的畸变参数将所述目标煤仓图像对应的灰度图像重构为三维图像，包括：

确定所述灰度图像中各个像素点坐标；

将所述各个像素点坐标转换为三维坐标点，通过所述畸变参数对所述三维坐标点进行修正；

根据修正后的三维坐标点将所述灰度图像重构为所述目标煤仓的三维图像。

本实施例的有益效果在于：确定所述灰度图像中各个像素点坐标；将所述各个像素点坐标转换为三维坐标点，通过所述畸变参数对所述三维坐标点进行修正；根据修正后的三维坐标点将所述灰度图像重构为所述目标煤仓的三维图像，从而能够考虑畸变参数对于图像的影响，并且能够通过畸变参数对三维坐标点进行修正，消除煤位摄像机的畸变对监测结果的影响，进一步提升了监测的准确性。

在一个实施例中，根据各个目标煤仓图像对应的煤位信息对实际煤位信息进行预测，包括：

确定所述多个煤位信息的均值为所述目标煤仓的实际煤位信息预测值。

本申请还提供一种煤位信息确定系统，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行以实现：

获取目标煤仓在不同拍摄角度下的目标煤仓图像；

对各个目标煤仓图像进行预处理，以得到所述各个目标煤仓图像对应的灰度图像；

通过对所述各个目标煤仓图像对应的灰度图像进行识别，以确定各个目标煤仓图像对应的煤位信息；

根据各个目标煤仓图像对应的煤位信息对实际煤位信息进行预测。

在一个实施例中，所述对各个目标煤仓图像进行预处理，以得到所述各个目标煤仓图像对应的灰度图像，包括：

通过边缘提取法对所述目标煤仓图像进行优化，得到边缘提取后的二值化图；

对所述二值化图进行形态学运算，以得到目标煤仓图像对应的灰度图像。

本申请还提供一种计算机存储介质，当存储介质中的指令由煤位信息确定系统对应的处理器执行时，使得煤位信息确定系统能够实现上述任意一项实施例所记载的煤位信息确定方法。

本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。

附图说明

附图用来提供对本申请的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本申请，并不构成对本申请的限制。在附图中：

图1为本申请一实施例中一种煤位信息确定方法的流程图；

图2为本申请另一实施例中一种煤位信息确定方法的流程图；

图3为本申请一实施例中的煤仓结构示意图；

图4为本申请一实施例中煤仓煤位监测的数据流向示意图；

图5为本申请一实施例中一种煤位信息确定系统的硬件结构示意图。

具体实施方式

以下结合附图对本申请的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本申请，并不用于限定本申请。

图1为本申请一实施例中一种煤位信息确定方法的流程图，如图1所示，该方法可被实施为以下步骤S11-S14：

在步骤S11中，获取目标煤仓在不同拍摄角度下的目标煤仓图像；

在步骤S12中，对各个目标煤仓图像进行预处理，以得到所述各个目标煤仓图像对应的灰度图像；

在步骤S13中，通过对所述各个目标煤仓图像对应的灰度图像进行识别，以确定各个目标煤仓图像对应的煤位信息；

在步骤S14中，根据各个目标煤仓图像对应的煤位信息对实际煤位信息进行预测。

本申请中，获取目标煤仓在不同拍摄角度下的目标煤仓图像；例如，本申请可以安装的煤位摄像机可以是两台，图3为本申请中煤仓的结构示意图，图4为煤仓煤位监测的数据流向示意图，如图3或图4所示，可以在煤仓内左右各安装一台煤位摄像机，即1#煤位摄像机和2#煤位摄像机，负责拍摄仓内煤位图像，两台煤位摄像机分别照射煤仓左、右两侧卸煤口处煤位。在煤仓照射面图像中划定左、右检测区间及卸车最高临界线，根据区间内煤位覆盖面积计算煤高。左、右摄像机图像经过旋转、拼接，成为整个料斗覆盖面图像，可现料斗内监控的完全覆盖。也就是说，本申请在煤仓内安装的两台摄像机对应的拍摄角度个数大于摄像机个数，即通过两台摄像机可以拍摄多个拍摄角度的目标煤仓图像。

对各个目标煤仓图像进行预处理，以得到所述各个目标煤仓图像对应的灰度图像；具体的，通过边缘提取法对所述目标煤仓图像进行优化，得到边缘提取后的二值化图；对所述二值化图进行形态学运算，以得到目标煤仓图像对应的灰度图像，具体的，通过形态学运算中的膨胀和腐蚀来得到目标煤仓图像对应的灰度图像，本申请中，先对二值化图进行膨胀运算，再进行腐蚀运算。膨胀和腐蚀是两种最基本也是最重要的形态学运算，它们是很多高级形态学处理的基础，很多其他的形态学算法都是由这两种基本运算复合而成。

通过对所述各个目标煤仓图像对应的灰度图像进行识别，以确定各个目标煤仓图像对应的煤位信息；在对灰度图进行识别过程中，需要考虑摄像机的畸变参数，理想的摄像机模型是针孔模型，但是实际的镜头不符合这种假设。另外，相机的构造以及制造、安装、工艺等因素也会造成误差，导致相机通常会存在多种非线性畸变，常见的畸变有径向畸变和切向畸变。

其中，径向畸变产生的主要原因是镜头径向曲率的不规则变化，它会导致图像的扭曲变形，例如，空间中的一条直线成像到图像平面后发生弯曲，变形成一条曲线。这种畸变的特点是以主点为中心，沿径向移动，离的距离越远，产生的变形量就越大。径向畸变是导致图像畸变的主要因素。

由于透镜不是完美地平行于图像平面，所以存在切向畸变，这种畸变使得一些区域看上去比预期的近。

另外，畸变还有离心畸变、薄棱镜畸变等，但是图像产生畸变的主要原因是由径向畸变和切向畸变所引起的。因此，通常情况下，畸变参数通常只考虑径向畸变和切向畸变。

具体的，本申请中，在通过对所述各个目标煤仓图像对应的灰度图像进行识别以确定各个目标煤仓图像对应的煤位信息时，可以根据所述煤位摄像机的初始参数确定所述煤位摄像机的畸变参数，然后根据摄像机的畸变参数将所述目标煤仓图像对应的灰度图像重构为三维图像；确定所述灰度图像中各个像素点坐标；将所述各个像素点坐标转换为三维坐标点，通过所述畸变参数对所述三维坐标点进行修正；根据修正后的三维坐标点将所述灰度图像重构为所述目标煤仓的三维图像，根据重构的三维图像确定目标煤仓中的煤位高度信息。

根据各个目标煤仓图像对应的煤位信息对实际煤位信息进行预测。具体的，确定所述多个煤位信息的均值为所述目标煤仓的实际煤位信息预测值。

通过图3和图4可知，本申请还包括雷达料位计，其中，雷达料位计同样也安装台在料斗的顶部，雷达料位计的微波脉冲通过天线发射到被测介质上，它被介质表面反射并被天线系统重新接收，通过计算发射与接收信号之间的时间便可得知容器中物料的高低。雷达料位计可以测量料斗中心点深度，作为辅助测量，综合判断摄像机煤位高度。随后通过数传分站将煤位摄像机拍摄的图像和雷达料位计测得的信号传输到M31智能输煤流控制分站。M31智能输煤流控制分站在经过对图像的处理和对雷达料位计传出的煤位信号的分析之后，再进行料斗内储煤的覆盖面积计算、体积计算及百分比计算，进而得知料斗内的煤位并发出命令信号对料斗内的煤位进行控制。

需要说明的是，煤位信息不仅可以包括煤位信息，还可以包括煤位覆盖率。本申请中，在根据各个目标煤仓图像对应的煤位信息对实际煤位信息进行预测之后，还可以根据实际煤位信息对预测值进行验证，例如，通过左右煤位摄像机对某时现场煤仓煤位进行拍摄，在经过软件后期图像处理和计算之后，显示此时左煤位覆盖率为83.2％，右煤位覆盖率为84.0％，平均煤位覆盖率为83.6％。通过对此时煤位的标记，后经过实际测试测得为此时正确的煤位覆盖率为84.5％，误差率1.0％。在经过后期大量的试验后发现，煤位误差在最低误差0.3％，最高误差1.8％之间浮动，并且误差分布呈现正态分布，误差测试结果基本稳定。实验的误差可能是由于后期测量实际煤位覆盖率的偏差或在图像处理过程中的误差等因素造成的。经过后期实验的验证，实际测得的煤位覆盖率和软件检测的煤位覆盖率误差较小，基本在实际工况可接受的范围内，由此可以说明此种煤位检测方法的的可靠性

本申请的有益效果在于：可以对不同拍摄角度下的目标煤仓图像进行预处理，得到目标煤仓图像对应的灰度图像，之后能够对灰度图像进行识别，从而确定各个目标煤仓图像对应的煤位信息，实现了对煤位信息的自动监测，提升了监测结果的稳定性，之后能够综合不同拍摄角度下的多张目标煤仓图像对应的煤位信息对实际煤位信息进行预测，从而使得预测值更加精确。

在一个实施例中，上述步骤S12可被实施为以下步骤S21-S22：

在步骤S21中，通过边缘提取法对所述目标煤仓图像进行优化，得到边缘提取后的二值化图；

在步骤S22中，对所述二值化图进行形态学运算，以得到目标煤仓图像对应的灰度图像。

本实施例中，通过边缘提取法对所述目标煤仓图像进行优化，得到边缘提取后的二值化图；对所述二值化图进行形态学运算，以得到目标煤仓图像对应的灰度图像。具体的，膨胀和腐蚀是两种最基本也是最重要的形态学运算，它们是很多高级形态学处理的基础，很多其他的形态学算法都是由这两种基本运算复合而成。本实施例中，在所述二值化图进行形态学运算时，先对二值化图进行膨胀运算，再进行腐蚀运算。

在一个实施例中，上述步骤S11可被实施为以下步骤：

根据位于目标煤仓上方不同拍摄角度的煤位摄像机获取目标煤仓在不同拍摄角度下的目标煤仓图像。

在一个实施例中，方法还可被实施为以下步骤：

根据所述煤位摄像机的初始参数确定所述煤位摄像机的畸变参数。

理想的摄像机模型是针孔模型，但是实际的镜头不符合这种假设。另外，相机的构造以及制造、安装、工艺等因素也会造成误差，导致相机通常会存在多种非线性畸变，常见的畸变有径向畸变和切向畸变。其中，径向畸变产生的主要原因是镜头径向曲率的不规则变化，它会导致图像的扭曲变形，例如，空间中的一条直线成像到图像平面后发生弯曲，变形成一条曲线。这种畸变的特点是以主点为中心，沿径向移动，离的距离越远，产生的变形量就越大。径向畸变是导致图像畸变的主要因素。由于透镜不是完美地平行于图像平面，所以存在切向畸变，这种畸变使得一些区域看上去比预期的近。另外，畸变还有离心畸变、薄棱镜畸变等，但是图像产生畸变的主要原因是由径向畸变和切向畸变所引起的。因此，通常情况下，畸变参数通常只考虑径向畸变和切向畸变。

基于上述理由，本申请中，根据所述煤位摄像机的初始参数确定所述煤位摄像机的畸变参数，以便后续根据煤位摄像机的畸变参数对三维坐标点进行修正。

在一个实施例中，上述步骤S13可被实施为以下步骤A1-A2：

在步骤A1中，根据所述摄像机的畸变参数将所述目标煤仓图像对应的灰度图像重构为三维图像；

在步骤A2中，根据重构的三维图像确定目标煤仓中的煤位高度信息。

在一个实施例中，上述步骤A1可被实施为以下步骤B1-B3：

在步骤B1中，确定所述灰度图像中各个像素点坐标；

在步骤B2中，将所述各个像素点坐标转换为三维坐标点，通过所述畸变参数对所述三维坐标点进行修正；

在步骤B3中，根据修正后的三维坐标点将所述灰度图像重构为所述目标煤仓的三维图像。

本实施例的有益效果在于：确定所述灰度图像中各个像素点坐标；将所述各个像素点坐标转换为三维坐标点，通过所述畸变参数对所述三维坐标点进行修正；根据修正后的三维坐标点将所述灰度图像重构为所述目标煤仓的三维图像，从而能够考虑畸变参数对于图像的影响，并且能够通过畸变参数对三维坐标点进行修正，消除煤位摄像机的畸变对监测结果的影响，进一步提升了监测的准确性。

在一个实施例中，上述步骤S14可被实施为以下步骤：

确定所述多个煤位信息的均值为所述目标煤仓的实际煤位信息预测值。

图5为本申请一种煤位信息确定系统的硬件结构示意图，包括：

至少一个处理器520；以及，

与所述至少一个处理器通信连接的存储器504；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行以实现：

获取目标煤仓在不同拍摄角度下的目标煤仓图像；

对各个目标煤仓图像进行预处理，以得到所述各个目标煤仓图像对应的灰度图像；

通过对所述各个目标煤仓图像对应的灰度图像进行识别，以确定各个目标煤仓图像对应的煤位信息；

根据各个目标煤仓图像对应的煤位信息对实际煤位信息进行预测。

在一个实施例中，所述对各个目标煤仓图像进行预处理，以得到所述各个目标煤仓图像对应的灰度图像，包括：

通过边缘提取法对所述目标煤仓图像进行优化，得到边缘提取后的二值化图；

对所述二值化图进行形态学运算，以得到目标煤仓图像对应的灰度图像。

在一个实施例中，所述获取目标煤仓在不同拍摄角度下的目标煤仓图像，包括：

根据位于目标煤仓上方不同拍摄角度的煤位摄像机获取目标煤仓在不同拍摄角度下的目标煤仓图像。

在一个实施例中，所述处理器还被执行为：

根据所述煤位摄像机的初始参数确定所述煤位摄像机的畸变参数。

在一个实施例中，通过对所述各个目标煤仓图像对应的灰度图像进行识别，以确定各个目标煤仓图像对应的煤位信息，包括：

根据所述摄像机的畸变参数将所述目标煤仓图像对应的灰度图像重构为三维图像；

根据重构的三维图像确定目标煤仓中的煤位高度信息。

在一个实施例中，所述根据所述摄像机的畸变参数将所述目标煤仓图像对应的灰度图像重构为三维图像，包括：

确定所述灰度图像中各个像素点坐标；

将所述各个像素点坐标转换为三维坐标点，通过所述畸变参数对所述三维坐标点进行修正；

根据修正后的三维坐标点将所述灰度图像重构为所述目标煤仓的三维图像。

在一个实施例中，根据各个目标煤仓图像对应的煤位信息对实际煤位信息进行预测，包括：

确定所述多个煤位信息的均值为所述目标煤仓的实际煤位信息预测值。

参照图5，该煤位信息确定系统500可以包括以下一个或多个组件：处理组件502，存储器504，电源组件506，多媒体组件508，音频组件510，输入/输出(I/O)的接口512，传感器组件514，以及通信组件516。

处理组件502通常控制煤位信息确定系统500的整体操作。处理组件502可以包括一个或多个处理器520来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件502可以包括一个或多个模块，便于处理组件502和其他组件之间的交互。例如，处理组件502可以包括多媒体模块，以方便多媒体组件508和处理组件502之间的交互。

存储器504被配置为存储各种类型的数据以支持在煤位信息确定系统500的操作。这些数据的示例包括用于在煤位信息确定系统500上操作的任何应用程序或方法的指令，如文字，图片，视频等。存储器504可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件506为煤位信息确定系统500的各种组件提供电源。电源组件506可以包括电源管理系统，一个或多个电源，及其他与为煤位信息确定系统500生成、管理和分配电源相关联的组件。

多媒体组件508包括在煤位信息确定系统500和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件508还可以包括一个前置摄像头和/或后置摄像头。当煤位信息确定系统500处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件510被配置为输出和/或输入音频信号。例如，音频组件510包括一个麦克风(MIC)，当煤位信息确定系统500处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器504或经由通信组件516发送。在一些实施例中，音频组件510还包括一个扬声器，用于输出音频信号。

I/O接口512为处理组件502和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件514包括一个或多个传感器，用于为煤位信息确定系统500提供各个方面的状态评估。例如，传感器组件514可以包括声音传感器。另外，传感器组件514可以检测到煤位信息确定系统500的打开/关闭状态，组件的相对定位，例如组件为煤位信息确定系统500的显示器和小键盘，传感器组件514还可以检测煤位信息确定系统500或煤位信息确定系统500的一个组件的位置改变，用户与煤位信息确定系统500接触的存在或不存在，煤位信息确定系统500方位或加速/减速和煤位信息确定系统500的温度变化。传感器组件514可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件514还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件514还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件516被配置为使煤位信息确定系统500提供和其他设备以及云平台之间进行有线或无线方式的通信能力。煤位信息确定系统500可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件516经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件516还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，煤位信息确定系统500可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述煤位信息确定方法。

本申请还提供一种计算机存储介质，当存储介质中的指令由煤位信息确定系统对应的处理器执行时，使得煤位信息确定系统能够实现上述任意一项实施例所记载的煤位信息确定方法。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。