本发明属于信息技术多媒体应用领域，具体涉及远程作业指导方法及系统。

背景技术：

随着公司电网规模日益扩大和新型设备投产，电网设备安装、运行、检修面临资料繁杂、步骤复杂、设备拆装精准度高以及人员水平不一等问题。传统的电网作业方式(基建安装、巡视检修、配网抢修)采用作业前制定详细计划，执行过程中严格按照计划执行，由于电网现场作业面临的情况非常复杂，作业人员遇到突发问题处理能力不足，执行作业时间较长，需要现场作业人员具有较高的专业技术水平。

随着可穿戴及增强现实技术发展，电网作业人员将采用佩戴智能终端方式进行信息采集、传输、处理，在遇到疑难问题可接受技术专家远程协助。而单纯的通过视频和声音无法让各个参与方都能清楚的实现相关的作业操作，因此一种电网检修作业场景远程协助指导方法及系统，为电网现场作业人员提供直观便捷的作业指导和协作支持，提高电网设备基建安装、巡视检修、配网抢修的工作效率和安全作业水平。

技术实现要素：

为了满足电网检修现场作业的需要，本发明提供了一种远程作业指导方法及系统，通过视频、声音、远程专家标注的方式实现精准化远程指导。

为了实现上述目的，采用如下技术方案：

本发明提供一种远程作业指导方法，包括：

智能终端在采集的音频、视频和增强现实标注信息上添加第一相对时间戳使三者同步，并向web终端提供同步后的音频、视频和增强现实标注信息；

智能终端获取web端返回的添加有第二相对时间戳的视频和远程协助信息；

智能终端根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，同时根据第二相对时间戳对视频和远程协助信息进行同步回放；

智能终端以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。

所述智能终端向web终端提供同步后的音频、视频和增强现实标注信息，包括：

所述智能终端将同步后的音频、视频和增强现实标注信息进行压缩编码后通过各自独立的信道同时或依次以视频包、音频包、增强现实标注信息包的顺序发送给视频服务器后再通过视频服务器发送给web端。

所述远程协助信息包括：远程协助音频和远程协助标注信息。

所述根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，包括：

同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

所述根据第二相对时间戳对视频和远程协助信息进行同步回放，包括：

同时提取视频帧、远程协助音频帧和远程协助标注信息帧进行比较，若视频帧正常，而远程协助音频帧和远程协助标注信息帧均滞后，则丢弃该远程协助音频帧和远程协助标注信息帧，若远程协助音频帧和视频帧同步，远程协助标注信息帧滞后，则丢弃该远程协助标注信息帧，若视频帧滞后，就将远程协助音频播放速度减慢或加快视频的播放速率。

本发明提供一种智能终端，包括：

第一采集模块，用于采集视频、音频和增强现实标注信息；

第一同步模块，用于对视频、音频和增强现实标注信息添加第一相对时间戳进行同步；

第一通讯模块，用于从web端获取添加有第二相对时间戳的视频和远程协助信息；

第一同步回放模块，用于根据第一相对时间戳对视频、音频和增强现实标注信息进行同步回放；且根据第二相对时间戳对视频、远程协助信息进行同步回放；

第一显示模块，用于以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。

所述第一通讯模块从web端获取的远程协助信息包括远程协助音频和远程协助标注信息。

所述第一同步回放模块包括：

第一比较单元，用于根据第一相对时间戳同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳；

第一处理单元，用于若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

所述第一同步回放模块包括：

第二比较单元，用于根据第二相对时间戳同时提取视频帧、远程协助音频帧和远程协助标注信息帧进行比较；

第二处理单元，用于若视频帧正常，而远程协助音频帧和远程协助标注信息帧均滞后，则丢弃该远程协助音频帧和远程协助标注信息帧，若远程协助音频帧和视频帧同步，远程协助标注信息帧滞后，则丢弃该远程协助标注信息帧，若视频帧滞后，就将远程协助音频播放速度减慢或加快视频的播放速率。

本发明提供一种远程作业指导方法，其特征在于，包括：

web端从智能终端获取添加有第一相对时间戳的音频、视频和增强现实标注信息，并根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放并显示；

web端获取远程协助信息，并在所述远程协助信息与视频中添加第二相对时间戳进行同步；

web端向智能终端提供同步后的添加有第二相对时间戳的视频和远程协助信息。

所述web端对同步后的远程协助信息和视频发送给智能终端包括：

所述web端对同步后的远程协助信息和视频进行压缩编码后通过视频服务器发送给智能终端。

所述根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，包括：

同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

本发明提供一种web端，包括：

第二采集模块，用于获取远程协助信息；

第二同步回放模块，用于根据第一相对时间戳对视频、音频和增强现实标注信息进行同步回放；

第二显示模块，用于显示同步回放后的视频、音频和增强现实标注信息；

第二同步模块，用于对远程协助信息和添加视频添加第二相对时间戳进行同步；

第二通讯模块，用于向智能终端提供同步后的添加有第二相对时间戳的视频和远程协助信息。

所述第二同步回放模块根据第一相对时间戳同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

本发明提供一种远程作业指导系统，包括所述的智能终端、所述的web端、以及分别与智能终端和web端通讯的视频服务器，所述视频服务器包括：

视频质量优化模块，用于对解码后的添加有第一时间戳和/或第二时间戳的数据信息进行音视频速率控制、质量补偿、回音消除、降噪处理和/或拥塞控制；

第三通讯模块，用于与智能终端和/或web端通讯。

与最接近的现有技术比，本发明提供的技术方案具有以下有益效果：

本发明提供的技术方案，智能终端使用相对时间戳同步法，在音频、视频和增强现实标注信息中分别插入第一相对时间戳，实现了音频、视频和增强现实标注信息三者的同步；智能终端获取web端返回的添加有第二相对时间戳的视频和远程协助信息，并根据第一时间戳和第二时间戳采用同步回放实现视频、音频、增强现实标注信息和远程协助信息的同步显示，实现精准化远程指导。

本发明提供的技术方案，web端将的视频和获取的远程指导音频、远程指导标注信息采用相对时间戳同步法，在视频、远程指导音频和远程指导标注信息中分别插入相对时间戳，实现了视频、远程指导音频和远程指导标注信息的同步，同步后发送给视频服务器，经视频服务器处理后，再次发送给各个可穿戴智能终端，实现精准化远程指导。

本发明提供的技术方案，web端根据第一相对时间戳采用同步回放实现视频、音频、增强现实标注信息的同步显示，实现精准化远程指导。

本发明提供的技术方案，智能终端不仅采集视频和音频，而且采集电网现场作业人员增强现实的标注，从多方位采集了电网作业现场的复杂情况。

本发明提供的技术方案，为电网现场作业人员提供直观便捷的作业指导和协作支持，提高了电网设备基建安装、巡视检修、配网抢修的工作效率和安全作业水平。

附图说明

图1是本发明一种远程作业指导方法可穿戴智能终端的流程图；

图2是本发明一种远程作业知道方法web端的流程图；

图3是音视频和标注信息相对时间戳插入方法示意图；

图4是本发明实施例音视频和标注信息同步回放方法示意图；

图5是本发明实施例视频服务器架构图；

图6是本发明实施例一种远程作业指导系统架构图。

具体实施方式

下面结合附图对本发明做进一步详细的说明：

为了实现上述目的，本发明提供采用如下技术方案：

如图1所示，本发明提供一种远程作业指导方法，可以包括如下步骤：

智能终端在采集的音频、视频和增强现实标注信息上添加第一相对时间戳使三者同步，并向web终端提供同步后的音频、视频和增强现实标注信息；

智能终端获取web端返回的添加有第二相对时间戳的视频和远程协助信息；

智能终端根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，同时根据第二相对时间戳对视频和远程协助信息进行同步回放；

智能终端以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。

所述智能终端向web终端提供同步后的音频、视频和增强现实标注信息，包括：

所述智能终端将同步后的音频、视频和增强现实标注信息进行压缩编码后通过各自独立的信道同时或依次以视频包、音频包、增强现实标注信息包的顺序发送给视频服务器后再通过视频服务器发送给web端。

所述远程协助信息包括：远程协助音频和远程协助标注信息。

所述根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，包括：

同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

所述根据第二相对时间戳对视频和远程协助信息进行同步回放，包括：

同时提取视频帧、远程协助音频帧和远程协助标注信息帧进行比较，若视频帧正常，而远程协助音频帧和远程协助标注信息帧均滞后，则丢弃该远程协助音频帧和远程协助标注信息帧，若远程协助音频帧和视频帧同步，远程协助标注信息帧滞后，则丢弃该远程协助标注信息帧，若视频帧滞后，就将远程协助音频播放速度减慢或加快视频的播放速率。

本发明提供一种智能终端，可以包括：

第一采集模块，用于采集视频、音频和增强现实标注信息；

第一同步模块，用于对视频、音频和增强现实标注信息添加第一相对时间戳进行同步；

第一通讯模块，用于从web端获取添加有第二相对时间戳的视频和远程协助信息；

第一同步回放模块，用于根据第一相对时间戳对视频、音频和增强现实标注信息进行同步回放；且根据第二相对时间戳对视频、远程协助信息进行同步回放；

第一显示模块，用于以视频为主流，显示同步回放后的视频、音频、增强现实标注信息和远程协助信息。

所述第一通讯模块从web端获取的远程协助信息包括远程协助音频和远程协助标注信息。

所述第一同步回放模块包括：

第一比较单元，用于根据第一相对时间戳同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳；

第一处理单元，用于若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

所述第一同步回放模块包括：

第二比较单元，用于根据第二相对时间戳同时提取视频帧、远程协助音频帧和远程协助标注信息帧进行比较；

第二处理单元，用于若视频帧正常，而远程协助音频帧和远程协助标注信息帧均滞后，则丢弃该远程协助音频帧和远程协助标注信息帧，若远程协助音频帧和视频帧同步，远程协助标注信息帧滞后，则丢弃该远程协助标注信息帧，若视频帧滞后，就将远程协助音频播放速度减慢或加快视频的播放速率。

基于同一发明构思，本发明还提供一种智能终端，包括处理系统、存储器及存储在所述存储器上并可在所述处理系统上运行的计算机程序，所述处理系统与所述存储器耦合，所述处理系统执行所述计算机程序时实现上述远程作业指导方法。

基于同一发明构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质有可执行上述远程作业指导方法的计算机程序。

如图2所示，本发明提供一种远程作业指导方法，可以包括如下步骤：

web端从智能终端获取添加有第一相对时间戳的音频、视频和增强现实标注信息，并根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放并显示；

web端获取远程协助信息，并在所述远程协助信息与视频中添加第二相对时间戳进行同步；

web端向智能终端提供同步后的添加有第二相对时间戳的视频和远程协助信息。

所述web端对同步后的远程协助信息和视频发送给智能终端包括：

所述web端对同步后的远程协助信息和视频进行压缩编码后通过视频服务器发送给智能终端。

所述根据第一相对时间戳对音频、视频和增强现实标注信息进行同步回放，包括：

同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

本发明提供一种web端，可以包括：

第二采集模块，用于获取远程协助信息；

第二同步回放模块，用于根据第一相对时间戳对视频、音频和增强现实标注信息进行同步回放；

第二显示模块，用于显示同步回放后的视频、音频和增强现实标注信息；

第二同步模块，用于对远程协助信息和添加视频添加第二相对时间戳进行同步；

第二通讯模块，用于向智能终端提供同步后的添加有第二相对时间戳的视频和远程协助信息。

所述第二同步回放模块根据第一相对时间戳同时提取音频帧、视频帧和增强现实标注信息帧进行比较，所述音频帧、视频帧和增强现实标注信息帧打有第一相对时间戳，若视频帧正常，而音频帧和增强现实标注信息帧均滞后，则丢弃该音频帧和增强现实标注信息帧，若音视频帧同步，增强现实标注信息帧滞后，则丢弃该增强现实标注信息帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

基于同一发明构思，本发明还提供一种web端，包括处理系统、存储器及存储在所述存储器上并可在所述处理系统上运行的计算机程序，所述处理系统与所述存储器耦合，所述处理系统执行所述计算机程序时实现上述远程作业指导方法。

基于同一发明构思，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质有可执行上述远程作业指导方法的计算机程序。

本发明提供一种远程作业指导系统，可以包括：所述的智能终端、所述的web端、以及分别与智能终端和web端通讯的视频服务器，所述视频服务器包括：

视频质量优化模块，用于对解码后的添加有第一时间戳和/或第二时间戳的数据信息进行音视频速率控制、质量补偿、回音消除、降噪处理和/或拥塞控制；

第三通讯模块，用于与智能终端和/或web端通讯。

所述智能终端可以为可穿戴智能终端，例如：智能眼镜、智能头盔等。

具体的本发明提供的一种远程作业指导方法，可以包括：

可穿戴智能终端采集作业现场的多种多媒体信息，分别插入第一相对的时间戳后与控制信令一起进行压缩编码后传送到视频服务器；

视频服务器对接收的数据包编解码、缓冲、处理后传送给web端；

web端对数据包解码、缓冲、同步回放、展示，在展示时获取专家添加的声音和标注信息，在展示视频流、web端采集的专家声音和标注信息中插入第二相对时间戳并压缩编码后传给所述视频服务器；

视频服务器将web端发送数据包经过编解码、缓冲和处理后发送给可穿戴智能终端；

可穿戴智能终端接收到所述视频服务器发送的数据包，解码缓冲后，同步回放并进行渲染和展示，完成精准化远程指导。

具体方法包括：

1、数据采集

可穿戴智能终端(智能眼镜、智能头盔等)采用摄像头和麦克风采集视频、音频，景深摄像头采集电网作业人员增强现实标注和画图信息，并将音频、视频和标注信息，在音频、视频和增强现实标注信息的分别插入第一相对时间戳，并控制信令一起进行压缩编码，形成遵循网络协议的数据包发送传到视频服务器。

2、数据同步

当采集视频流、音频流、增强现实标注信息分别发送给视频服务器时,两种媒体流和增强现实标注信息通过独立的信道传输，由于网络会给传输带来延迟抖动,因此接收方要实现音视频和标注信息同步,就必须进行同步控制,以恢复数据之间的先后时间关系。音频流需要保持其连续性,视频流的变化应与音频信息和标注信息保持一致，就要实现三者同步。

在视频系统中无全网同步的时钟可用,所以无法利用绝对时间戳来实现音频、视频、标注信息同步,只能采用相对时间戳来解决，如图3所示，音视频流和标注信息有各自的时间轴,发送时各帧打上相对时间戳rts。对应音视频和标注，选择视频流为主流,主流连续播放,从流和标注信息的播放由主流的播放状态决定,从而实现三者同步。

在发送端,同一时刻采集的音视频和标注信息帧打上相同的时间戳,尽可能地同时发送出去。可以把发送过程放到同一线程中处理,也即依次发送视频包、音频包、标注包、视频包......,这样可以保证发送端的同步。因为在一个视频帧的采样时间内采集了多个音频和标注帧,所以一个视频包中有多个音频和标注帧。

如图4所示，当rtp帧到达接收端后,随后被送至相应的解码器进行解码。为准确地控制回放时间,数据包在进行同步之前应由先放入各自缓冲区，在视频缓冲区定时提取视频帧，同时在音频和标注缓冲区提取音频帧和标注帧进行比较，若视频帧正常，而音频帧和标注帧均滞后，则丢弃该音频帧和标注帧，若音视频帧同步，标注帧滞后，则丢弃该标注帧，若视频帧滞后，就将音频播放速度减慢或加快视频的播放速率。

3、数据处理

如图5所示，视频服务器分为音频、视频、标注信息和控制端接口等，音频、视频和标注信息接口接收到各路数据流放入缓冲区和解码，视频处理模块对视频流进行速率控制、质量补偿、回音消除、降噪处理、拥塞控制，其中，速率控制对音视频速率进行控制、质量补偿是对视频质量进行补偿、回音消除是对声音环绕和回音进行消除、降噪处理对音频噪声进行处理、拥塞控制对数据流进行拥塞控制，控制信息对媒体流传输进行控制。然后将，音频、视频、标注信息包放入缓冲区，压缩编码后发送给web终端。

4、专家远程协助

远程专家通过web终端接收到视频服务器发送的数据包进行解码、缓冲、同步回放、渲染和展示，远程专家通过语音和触摸屏、鼠标滑动标注、画笔工具等方式实现对电网现场作业人员视频进行指导，将视频流、专家标注和声音指导信息打上第二相对时间戳后压缩编码发送给视频服务器，服务器将处理后再次发送给可穿戴智能终端，实现精准化远程指导。

基于同一发明构思，本发明还提供一种远程作业指导系统，如图6所示，所述系统可以包括：

可穿戴智能终端：采集作业现场的多种多媒体信息，将采集的多媒体信息放入缓冲，分别插入第一相对时间戳后与控制信令一起进行压缩编码后发送到视频服务器；

视频服务器：接收可穿戴智能终端发送的数据包并进行处理后传送给web终端；

web终端：接收视频服务器处理后的多媒体信息、获取专家添加的声音和标注信息，在展示视频流、web端采集的专家声音和标注信息中插入第二相对时间戳并压缩编码后传给所述视频服务器；

所述视频服务器还接收web终端发送的数据包处理后推送给可穿戴智能终端。

可穿戴智能终端可以包括：采集视频的摄像头、采集音频的麦克风、采集增强现实标注信息的景深摄像头、用于数据同步发送的同步发送模块、用于数据接收同步的同步回放模块、用于视频渲染和展示的显示模块、用于缓冲数据的缓冲区、用于编解码的编码和解码器等。

视频服务器可以包括：音频接口、视频接口、增强现实标注信息接口、控制端接口、用于音视频速率控制的音视频速率控制模块、用于视频质量补偿的视频质量补偿模块、用于回音消除的回音消除模块、用于降噪处理的降噪处理模块、用于数据流进行拥塞控制的拥塞控制模块、用于缓冲数据的缓冲区、用于编解码的编码和解码器等。

所述的web终端可以包括：用于缓冲数据的缓冲区、用于编解码的编码和解码器、用于数据接收同步的同步回放模块、用于视频渲染和展示的显示器、用于获取外界添加信息的采集装置和用于将对添加信息进行同步发送的同步发送模块。

所述web终端可以包括视频展示模块，采集专家的声音和标注信息。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用于说明本发明的技术方案而非对其保护范围的限制,尽管参照上述实施例对本申请进行了详细的说明,所属领域的普通技术人员应当理解：本领域技术人员阅读本申请后依然可对申请的具体实施方式进行种种变更、修改或者等同替换，但这些变更、修改或者等同替换，均在申请待批的权利要求保护范围之内。