一种从视频中自动快速获取场景背景的处理方法【掌桥专利】

技术领域

本申请涉及但不限于自动监控和动态测量中的图像处理技术领域，尤指一种从视频中自动快速获取场景背景的处理方法。

背景技术

获取视频中的场景背景有很多方面的用途，场景背景例如可以应用于智能制造测量、视频监控和视频编辑等多个领域。一方面，在智能制造测量领域，通过摄影测量方法进行测量的过程中，场景背景不变，而前景改变；在这种情况下，通过背景获取和背景剪除可以有效地降低计算复杂度，提高系统效率，对重点区域进行重点分析。

另一方面，在视频监控领域，一般通过背景剪除得到前景信息，对其进行分析，该应用领域中，背景剪除需要得到稳定的场景的背景。针对背景剪除的方式，固定摄像机获得的视频中，场景背景一般相对稳定，形成图像序列。在场景中移动的物体对背景形成遮挡，为了获得场景背景，可以要求在场景中没有移动物体，获取一段时间的单纯背景图像，用于计算场景背景；另外，可以根据图像序列的内在联系计算获得场景背景。大部分用于获取场景背景的方法需要经过很多帧图像的计算，才能获得场景背景。此外，上述获取场景背景的方法对更新参数敏感，如果更新参数过大，移动物体也可能被分类为背景；反之，需要更长的时间才能得到背景。

在视频监控领域，很多情况下不能得到没有移动物体的图像序列。如果使用需要很长时间才能获得场景背景的方法，在此期间内的监控将失效，不利于监控系统正常使用。

再一方面，在视频编辑领域，一般图像序列的长度较短，如果使用一般的获取场景背景的方法，在视频结束时可能也无法得到场景背景。

发明内容

为了解决上述技术问题，本发明实施例提供了一种从视频中自动快速获取场景背景的处理方法，以解决在视频监控和动态测量等领域自动获取场景背景需要较长时间，背景剪除不能及时进行等问题；本发明实施例可以实现在较短时间内得到场景背景。

本发明实施例提供一种从视频中自动快速获取场景背景的处理方法，监控区域或者测量场中布置有摄像机，所述摄像机设置有预设范围的拍摄视野，所述获取场景背景的处理方法，包括：

步骤1，通过所述摄像机的拍摄得到多帧图像的图像序列；

步骤2，为图像序列的每一个像素建立时域高斯混合模型，根据每帧图像输入像素值的变化，对所述时域高斯混合模型的模式进行更新，包括更新已有模式、创建新的模式、删除多余模式；

步骤3，获取计算背景图像的分类时机；

步骤4，根据步骤3获取到的分类时机，对通过步骤2得到的当前时域高斯混合模型，获取所述图像序列的背景图像，获取方式包括：

步骤41，采用期望值最大化的方法对第二模式的权重分布进行拟合，得到分别表示背景图像和前景图像的二元权重高斯混合模型；

步骤42，在随机场上进行优化计算，得到优化后的前景图像和背景图像的分类结果，并根据分类结果计算出背景图像。

可选地，如上所述的从视频中自动快速获取场景背景的处理方法中，所述步骤2中对所述时域高斯混合模型的模式进行更新，包括：

使用时域高斯混合模型中的多个模式描述图像中每个像素的分布，根据每帧输入图像的像素值与当前时域高斯混合模型的距离，确定根据新输入像素值对当前模型中的模式进行更新、创建新的模式、或者删除其中一个模式。

可选地，如上所述的从视频中自动快速获取场景背景的处理方法中，所述步骤2包括：

步骤21，为图像序列中的每个像素建立时域高斯混合模型，根据第一帧图像中的像素值对高斯模型进行初始化，得到每个像素的第一模式；

步骤22，计算当前帧输入像素值与高斯混合模型中的模式的拟合度，拟合度由输入像素值与当前时域高斯混合模型模式的距离确定；

步骤23，确定输入像素值是否被当前时域高斯混合模型中的模式所描述；

步骤24，如果输入像素值能够被当前时域高斯混合模型中的一个模式所描述，则更新当前相应的时域高斯混合模型中模式的权重参数；

步骤25，如果输入像素值不能被当前时域高斯混合模型中的所有模式所描述，则对当前时域高斯混合模型创建新的模式；

步骤26，判断当前时域高斯混合模型中是否有权重为负值的模式；

步骤27，如果当前时域高斯混合模型中有权重为负值的模式，则删除相应的模式；

步骤28，如果当前时域高斯混合模型中没有权重为负值的模式，则更新当前时域高斯混合模型中模式的权重参数。

可选地，如上所述的从视频中自动快速获取场景背景的处理方法中，所述步骤24包括：

当输入像素值与时域高斯混合模型中一个模式的距离在3倍偏差范围之内时，将对当前时域高斯混合模型的各个模式进行更新；

所述步骤25包括：

当输入像素值与当前时域高斯混合模型的所有模式的距离都大于3倍偏差范围之外时，对当前时域高斯混合模型创建一个新的模式。

可选地，如上所述的从视频中自动快速获取场景背景的处理方法中，所述步骤3中获取分类时机的方式，包括：

对整个图像的第一模式和第二模式分别进行统计，获得两个权重高斯混合模型，并计算两个权重高斯混合模型的相对熵值，根据相对熵值决定出用于计算背景图像的分类时机。

可选地，如上所述的从视频中自动快速获取场景背景的处理方法中，所述步骤41包括：

对用于描述图像像素的每个时域高斯混合模型中，根据第二模式的权重、且通过期望值最大化方法建立出一个二元权重高斯混合模型，根据二元权重高斯混合模型的计算结果，得到的分类结果为：第一帧图像的每个像素属于前景图像和背景图像的概率。

可选地，如上所述的从视频中自动快速获取场景背景的处理方法中，所述步骤41包括：

步骤41a，根据每个时域高斯混合模型的分布，对所有像素的时域高斯混合模型的第二模式进行分析，使用期望值最大化方法，根据第二模式的权重，得到二元权重高斯混合模型；

步骤41b，根据每个像素与二元权重高斯混合模型的两个模式之间的距离，得到每个像素属于前景图像或者背景图像的概率。

可选地，如上所述的从视频中自动快速获取场景背景的处理方法中，所述步骤42包括：

基于空间连续性的信息，利用全连接条件随机场对所述步骤41得到的分类结果进行优化计算，得到优化后的前景图像和背景图像的分类，并根据分类结果，计算得到图像序列的背景图像。

与现有技术相比，本发明具有以下优点：

本发明实施例提供的从视频中自动快速获取场景背景的处理方法，可以应用于智能监控在安全及其它领域有广泛的应用；场景背景的计算结果对监控效果的有直接影响。现有技术对背景的计算一般采用渐进方式，需要通过多帧视频计算才能获取正确的监控背景。针对此问题，本发明提供的处理方法，可以实现在极短时间内完成背景计算，为高效的视频监控系统提供基础，且本发明实施例的技术方案在诸多领域可能创造经济效益和社会效益。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例提供的一种从视频中自动快速获取场景背景的处理方法的流程图；

图2为本发明实施例中一种获取图像序列的背景图像的流程图；

图3为本发明实施例中的第一帧图像的示意图；

图4为本发明实施例中图像序列在处理过程中的模式示意图；

图5为采用本发明实施例提供的处理方法获取场景背景的过程中经过多帧处理得到的模式示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

固定摄像机得到的视频中可以分为前景和背景两类。其中，背景是场景中相对于摄像机固定的物体在图像上的投影；而前景为移动物体在图像中的投影，本发明实施例提供的技术方案能够自动计算固定摄像机拍摄视频中的场景背景，

基于视频监控和动态测量等领域自动获取场景背景需要较长时间，背景剪除不能及时进行等问题。本发明实施例提出一种基于较少的图像计算获得场景背景的方法。本发明实施例的图像中的每个像素由时域高斯混合模型表示，该时域高斯混合模型中的模式可以被创建、更新或者清除，这些模式的参数可以用于推理此像素属于背景的概率；本发明实施例中基于像素的得到局部场景背景的估计结果，这些结果里难免有错误，为了提高系统性能，采用全连接的条件随机场进行全局优化计算，获得合理的场景背景。另外，为了解决计算场景背景的时间点的问题，本发明实施例提出使用相对熵(Kullback–Leiblerdivergence)得到进行背景估计的合适时机。

本发明提供以下几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。

在视频监控或者动态测量过程中，摄像机位置保持相对不变，其视场范围也保持不变。在获取场景背景过程中，输入图像中可能包含前景运动物体，运动物体的位置、形状及尺寸未知。在这种情况下，不可以直接获得背景图像。

基于上述难以直接获取到背景图像的问题，本发明实施例提供一种从视频中自动快速获取场景背景的处理方法，如图1所示，为本发明实施例提供的一种从视频中自动快速获取场景背景的处理方法的流程图，本发明实施例中监控区域或者测量场中布置有摄像机，该摄像机设置有预设范围的拍摄视野，从视频中自动快速获取场景背景的处理方法，包括如下步骤：

步骤1，通过摄像机的拍摄得到多帧图像的图像序列；

步骤2，为图像序列的每一个像素建立时域高斯混合模型，根据每帧图像输入像素值的变化，对时域高斯混合模型的模式进行更新，包括更新已有模式、创建新的模式、删除多余模式；

步骤3，获取计算背景图像的分类时机；

步骤4，根据步骤3获取到的分类时机，对通过步骤2得到的当前时域高斯混合模型，获取图像序列的背景图像。如图2所示，为本发明实施例中一种获取图像序列的背景图像的流程图，具体获取方式包括：

步骤41，采用期望值最大化的方法对第二模式的权重分布进行拟合，得到分别表示背景图像和前景图像的二元权重高斯混合模型；

步骤42，在随机场上进行优化计算，得到优化后的前景图像和背景图像的分类结果，并根据分类结果计算出背景图像。

本发明实施例中，步骤2中对时域高斯混合模型的模式进行更新的实现方式，包括：

使用时域高斯混合模型中的多个模式描述图像中每个像素的分布，根据每帧输入图像的像素值与当前时域高斯混合模型的距离，确定根据新输入像素值对当前模型中的模式进行更新、创建新的模式、或者删除其中一个模式。

本发明实施例在具体实现过程中，步骤2的具体实施步骤可以包括：

步骤21，为图像序列中的每个像素建立时域高斯混合模型，根据第一帧图像中的像素值对高斯模型进行初始化，得到每个像素的第一模式；

步骤22，计算当前帧输入像素值与高斯混合模型中的模式的拟合度，拟合度由输入像素值与当前时域高斯混合模型模式的距离确定；

步骤23，确定输入像素值是否被当前时域高斯混合模型中的模式所描述；

步骤24，如果输入像素值能够被当前时域高斯混合模型中的一个模式所描述，则更新当前相应的时域高斯混合模型中模式的权重参数；

步骤25，如果输入像素值不能被当前时域高斯混合模型中的所有模式所描述，则对当前时域高斯混合模型创建新的模式；

步骤26，判断当前时域高斯混合模型中是否有权重为负值的模式；

步骤27，如果当前时域高斯混合模型中有权重为负值的模式，则删除相应的模式；

步骤28，如果当前时域高斯混合模型中没有权重为负值的模式，则更新当前时域高斯混合模型中模式的权重参数。

在本发明实施例的一种实现方式中，步骤24的实施方式可以包括：

当输入像素值与时域高斯混合模型中一个模式的距离在3倍偏差范围之内时，将对当前时域高斯混合模型的各个模式进行更新；

在本发明实施例的一种实现方式中，步骤25的实施方式可以包括：

当输入像素值与当前时域高斯混合模型的所有模式的距离都大于3倍偏差范围之外时，对当前时域高斯混合模型创建一个新的模式。

本发明实施例中，步骤3中获取分类时机的实施方式，可以包括：

对整个图像的第一模式和第二模式分别进行统计，获得两个权重高斯混合模型，并计算两个权重高斯混合模型的相对熵值，根据相对熵值决定出用于计算背景图像的分类时机。

本发明实施例中，步骤41的实施方式，可以包括：

对用于描述图像像素的每个时域高斯混合模型中，根据第二模式的权重、且通过期望值最大化方法建立出一个二元权重高斯混合模型，根据二元权重高斯混合模型的计算结果，得到的分类结果为：第一帧图像的每个像素属于前景图像和背景图像的概率。

本发明实施例在具体实现过程中，步骤41的具体实施步骤可以包括：

步骤41a，根据每个时域高斯混合模型的分布，对所有像素的时域高斯混合模型的第二模式进行分析，使用期望值最大化方法，根据第二模式的权重，得到二元权重高斯混合模型；

步骤41b，根据每个像素与二元权重高斯混合模型的两个模式之间的距离，得到每个像素属于前景图像或者背景图像的概率。

由于上述步骤41计算得到的第一帧前景和背景的二值化分类通常包含错误的分类，因此，还可以利用全连接条件随机场对二值化分类结果进行优化处理，得到更准确的二值化分类。实际应用中，本发明实施例中，用于得到更准确的二值化分类的步骤42的实施方式，可以包括：

基于空间连续性的信息，利用全连接条件随机场对步骤41得到的分类结果进行优化计算，得到优化后的前景图像和背景图像的分类，并根据分类结果，计算得到图像序列的背景图像。

本发明实施例提供的从视频中自动快速获取场景背景的处理方法，为了获得背景图像，为每一个像素建立高斯混合模型。根据入像素值的变化，对时域高斯混合模型进行更新，包括更新已有模式、创建新的模式、删除多余模式等；随后，对整个图像第一模式和第二模式分别进行权重分布的统计，获得两个权重高斯混合模型，计算这两个权重高斯混合模型的相对熵(即分布的距离)，根据相对熵值，决定是否已到达计算背景图像的合适时机；最后，获取背景图像，获取分为两步：第一步采用期望值最大化的方法对第二模式的分布进行拟合，得到二元权重高斯混合模型，其中一个高斯分布表示背景图像，另外一个高斯分布表示前景图像；为了利用空间连续性的信息，第二步采用在马尔科夫随机场上进行优化计算，得到最终的前景和背景的分类，根据分类结果，可以计算出背景图像。

本发明实施例可以应用于智能监控在安全及其它领域有广泛的应用；场景背景的计算结果对监控效果的有直接影响。现有技术对背景的计算一般采用渐进方式，需要通过多帧视频计算才能获取正确的监控背景。针对此问题，本发明提供的处理方法，可以实现在极短时间内完成背景计算，为高效的视频监控系统提供基础，且本发明实施例的技术方案在诸多领域可能创造经济效益和社会效益。

以下通过一个具体实施例对本发明提供的从视频中自动快速获取场景背景的处理方法的实现方式进行详细说明。

场景背景自动获取可以用于图像的背景剪除。图像中每一个像素位置都用一个时域高斯混合模型表示。每个时域高斯混合模型包含数个高斯分布模式。每个模式被赋予相应的权重。

鉴于假设背景分布未知，在对每个高斯混合模型进行初始化的过程中，高斯混合分布的第一个模式的权重将被赋予1，而模式的均值被设为第一帧图像相应像素的值。随着图像序列中的图像不断被系统处理，高斯混合模型将更新、产生、或删除某些模式。如图3所示，为本发明实施例中的第一帧图像的示意图，图4为本发明实施例中图像序列在处理过程中的模式示意图，其中一种灰度表示背景，另一种灰度表示前景。

新的一幅图像的像素值与现有时域高斯混合模型的各模式相比较，当此像素值与时域高斯混合模型某个模式的距离在3倍偏差范围之内时，将对当前时域高斯混合模型的各个模式进行更新。当某像素值与当前时域高斯混合模型的所有模式进行距离计算，所有距离都大于3倍偏差范围之外时，说明此像素不能被已有的高斯混合模型的模式所描述，需要产生一个新的模式，此模式的均值即是输入的像素值，其权重将被赋予一个较小的值。

某个时域高斯混合模型的模式长期没有输入的像素值与之相匹配，说明此模式已经失效，根据狄里克雷先验公式，在每次未得到更新的模式的权重都将被删减一个小的数值，当某个模式的权重为负值时，此模式将被删除。

根据上述的方法对图像序列的时域高斯混合模型进行处理后，将得到基于上述图像的时域高斯混合模型。由于所有高斯混合模型的初始化都是基于第一帧图像完成的，第一帧图像的像素可以被分为两类：前景像素和背景像素。在时域高斯混合模型的处理过程中，背景像素对应的时域高斯混合模型第一模式的像素值很可能被更新；而前景像素相对应的时域高斯混合模型第一模式的像素值很可能不会更新，如果前景物体移动，背景像素出现，将会生成第二模式。当现有的模式不能对输入像素值进行合理拟合时，需要创建一个新的模式；当现有模式可以对输入进行拟合时，需要对模式进行更新；当现有模式在长时间内都无法得到匹配时，需要清除此模式。

经历多帧图像处理后，前景图像和背景图像在第二模式将会呈现显著的可区分性。而且，前景和背景像素在空域各自具有连通性。如图5所示，为采用本发明实施例提供的处理方法获取场景背景的过程中经过多帧处理得到的模式示意图。

为了获得场景背景，可以根据2个引理进行处理：

引理1：

如果某像素不是背景像素，那么，相应的时域高斯混合模型的第二模式的权重将会较大；反之，如果此像素是背景像素，那么相应的时域高斯混合模型的第二模式的权重应该较小。

引理2：

局部估计得到的像素估计可以通过全连接条件随机场进行优化，得到相应的全局优化场景背景。

图像序列的输入像素值包括空域和时域分布：其中空域为两维，分别是水平和垂直方向的图像坐标；时域为图像在序列中时间值。不失一般性，可以令图像序列中某一空间位置的单一像素序列为X

其中，x表示输入像素向量；α

f

其中，x

其中θ

而图像中像素整体条件概率分布可以表示为：

其中，α为权重，Θ

在像素的概率计算过程中，由于像素是否属于背景未被确定，所以，需要定义潜模式标签δ

p(x,δ|Θ,α)＝p(δ|α)p(x|δ,Θ)，

某个像素的整体条件概率为：

根据输入图像的像素值进行更新。每个时域高斯混合模型的模式的均值初始值设置为第一帧图像中相应像素的值，偏差设为给定偏差。首先计算输入像素值与原模式的均值估计值

随后，根据动态更新的原则，基于给定更新系数τ，计算此模式的权重：

α

继而，计算此模式均值估计值：

计算此模式的偏差值：

在参数更新过程中，需要计算潜模式标签的值。其中，如果第(u,v)个单元是从第m个模式中抽取的样本，那么δ

当马氏距离小于某设定阈值时，即：

判断当前输入像素值属于此模式。如果与所有模式的马氏距离都大于此阈值，则需要创建新的模式。

经过数帧输入的像素值计算后，每个像素所对应的时域高斯混合模型的模式数目可能不同。如果某像素对应的是背景，那么，此像素的更新会在此分布的均值附近；如果某像素对应的是前景像素，那么，此像素创建新的模式的可能性很大。令ε为阈值，当

为了进一步计算每个像素属于背景和前景的概率，可以采用期望值最大化的方法，把图像中所有像素的高斯混合分布的第二模式的权重α

利用下式计算相对熵

由于前景物体占据一定的空间范围，所以前景像素在空间的分布具有连续性；同样，背景像素的空间分布也具有连续性。为了利用这些信息，这里使用条件随机场来提高前景和背景的分类效果。

条件随机场是在给定的随机变量序列的条件下，随机变量的隐状态序列的马尔科夫随机场

定义在(Y,W)上的条件随机场可以由吉布斯分布描述：

其中，Y为图像序列，V为图的节点，E为图的边；G＝(V,E)为定义在Y上的图，每一个团c属于团的集合C

其中

E

E

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。