| iOS视频开发（一）：视频采集 | 您所在的位置：网站首页 › 摄像头视频采集开发 › iOS视频开发（一）：视频采集 |
|
前言
系列文章： 《iOS视频开发（一）：视频采集》 《iOS视频开发（二）：视频H264硬编码》 《iOS视频开发（三）：视频H264硬解码》 《iOS视频开发（四）：通俗理解YUV数据》 作为iOS音视频开发之视频开发的第一篇，本文介绍iOS视频采集的相关概念及视频采集的工作原理，后续将对采集后的视频数据进行硬编码、硬解码、播放等流程进行分析讲解。 基本概念 AVCaptureSession苹果为了管理从摄像头、麦克风等设备捕获到的信息，整了一个叫做AVCaptureSession的东西来对输入和输出数据流进行管理。AVFoundation官方文档 单个AVCaptureSession管理多个输入输出AVCaptureSession对象是用来管理采集数据和输出数据的，它负责协调从哪里采集数据，输出到哪里。 AVCaptureDevice一个AVCaptureDevice对象代表一个物理采集设备，我们可以通过该对象来设置物理设备的属性。 AVCaptureInputAVCaptureInput是一个抽象类，AVCaptureSession的输入端必须是AVCaptureInput的实现类。 这里我们用到的是AVCaptureDeviceInput，作为采集设备输入端。 AVCaptureOutputAVCaptureOutput是一个抽象类，AVCaptureSession的输出端必须是AVCaptureOutput的实现类。 这里我们用到的是AVCaptureVideoDataOutput，作为视频数据的输出端。 AVCaptureConnectionAVCaptureConnection是AVCaptureSession用来建立和维护AVCaptureInput和AVCaptureOutput之间的连接的。 AVCaptureVideoPreviewLayer这是AVCaptureSession的一个属性，集成自CALayer，通过类名我们可以知道这个layer是用来预览采集到的视频图像的，直接把这个layer加到UIView上面就可以实现采集到的视频实时预览了。 AVCaptureConnection表示输入和输出之间的连接 视频采集的步骤1、创建并初始化输入（AVCaptureInput）和输出（AVCaptureOutput） 2、创建并初始化AVCaptureSession，把AVCaptureInput和AVCaptureOutput添加到AVCaptureSession中 3、调用AVCaptureSession的startRunning开启采集 初始化输入（摄像头）通过AVCaptureDevice的devicesWithMediaType:方法获取摄像头，iPhone都是有前后摄像头的，这里获取到的是一个设备的数组，要从数组里面拿到我们想要的前摄像头或后摄像头，然后将AVCaptureDevice转化为AVCaptureDeviceInput，一会儿添加到AVCaptureSession中。 // 获取所有摄像头 NSArray *cameras= [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo]; // 获取前置摄像头 NSArray *captureDeviceArray = [cameras filteredArrayUsingPredicate:[NSPredicate predicateWithFormat:@"position == %d", AVCaptureDevicePositionFront]]; if (!captureDeviceArray.count) { NSLog(@"获取前置摄像头失败"); return; } // 转化为输入设备 AVCaptureDevice *camera = captureDeviceArray.firstObject; NSError *errorMessage = nil; self.captureDeviceInput = [AVCaptureDeviceInput deviceInputWithDevice:camera error:&errorMessage]; if (errorMessage) { NSLog(@"AVCaptureDevice转AVCaptureDeviceInput失败"); return; } 初始化输出初始化视频输出并设置视频数据格式，设置采集数据回调线程。 这里视频输出格式选的是kCVPixelFormatType_420YpCbCr8BiPlanarFullRange，YUV数据格式，不理解YUV数据的概念的话可以先这么写，后面编解码再深入了解YUV数据格式 // 设置视频输出 self.captureVideoDataOutput = [[AVCaptureVideoDataOutput alloc] init]; // 设置视频数据格式 NSDictionary *videoSetting = [NSDictionary dictionaryWithObjectsAndKeys: [NSNumber numberWithInt:kCVPixelFormatType_420YpCbCr8BiPlanarFullRange], kCVPixelBufferPixelFormatTypeKey, nil]; [self.captureVideoDataOutput setVideoSettings:videoSetting]; // 设置输出代理、串行队列和数据回调 dispatch_queue_t outputQueue = dispatch_queue_create("ACVideoCaptureOutputQueue", DISPATCH_QUEUE_SERIAL); [self.captureVideoDataOutput setSampleBufferDelegate:self queue:outputQueue]; // 丢弃延迟的帧 self.captureVideoDataOutput.alwaysDiscardsLateVideoFrames = YES; 初始化AVCaptureSession并设置输入输出1、初始化AVCaptureSession，把上面的输入和输出加进来，在添加输入和输出到AVCaptureSession先查询一下AVCaptureSession是否支持添加该输入或输出端口。 2、设置视频分辨率及图像质量（AVCaptureSessionPreset），设置之前同样需要先查询一下AVCaptureSession是否支持这个分辨率。 3、如果在已经开启采集的情况下需要修改分辨率或输入输出，需要用beginConfiguration和commitConfiguration把修改的代码包围起来。在调用beginConfiguration后，可以配置分辨率、输入输出等，直到调用commitConfiguration了才会被应用。 4、AVCaptureSession管理了采集过程中的状态，当开始采集、停止采集、出现错误等都会发起通知，我们可以监听通知来获取AVCaptureSession的状态，也可以调用其属性来获取当前AVCaptureSession的状态。AVCaptureSession相关的通知都是在主线程的。 前置摄像头采集到的画面是翻转的，若要解决画面翻转问题，需要设置AVCaptureConnection的videoMirrored为YES。 self.captureSession = [[AVCaptureSession alloc] init]; // 不使用应用的实例，避免被异常挂断 self.captureSession.usesApplicationAudioSession = NO; // 添加输入设备到会话 if ([self.captureSession canAddInput:self.captureDeviceInput]) { [self.captureSession addInput:self.captureDeviceInput]; } // 添加输出设备到会话 if ([self.captureSession canAddOutput:self.captureVideoDataOutput]) { [self.captureSession addOutput:self.captureVideoDataOutput]; } // 设置分辨率 if ([self.captureSession canSetSessionPreset:AVCaptureSessionPreset1280x720]) { self.captureSession.sessionPreset = AVCaptureSessionPreset1280x720; } // 获取连接并设置视频方向为竖屏方向 self.captureConnection = [self.captureVideoDataOutput connectionWithMediaType:AVMediaTypeVideo]; self.captureConnection.videoOrientation = AVCaptureVideoOrientationPortrait; // 设置是否为镜像，前置摄像头采集到的数据本来就是翻转的，这里设置为镜像把画面转回来 if (camera.position == AVCaptureDevicePositionFront && self.captureConnection.supportsVideoMirroring) { self.captureConnection.videoMirrored = YES; } // 获取预览Layer并设置视频方向，注意self.videoPreviewLayer.connection跟self.captureConnection不是同一个对象，要分开设置 self.videoPreviewLayer = [AVCaptureVideoPreviewLayer layerWithSession:self.captureSession]; self.videoPreviewLayer.connection.videoOrientation = self.captureParam.videoOrientation; self.videoPreviewLayer.videoGravity = AVLayerVideoGravityResizeAspectFill; 开始视频数据采集伺候好AVCaptureSession之后，直接调用startRunning就可以开始采集了，开启采集前最好判断一下摄像头权限有没有开启。采集到的数据会通过上面设置的代理方法captureOutput:didOutputSampleBuffer:fromConnection回调出来。若要停止采集，只需调用stopRunning即可。 AVCaptureSession的startRunning方法是个耗时操作，如果在主线程调用的话会卡UI。 /** 开始采集 */ - (BOOL)startCapture { if (self.isCapturing) { return NO; } // 摄像头权限判断 AVAuthorizationStatus videoAuthStatus = [AVCaptureDevice authorizationStatusForMediaType:AVMediaTypeVideo]; if (videoAuthStatus != AVAuthorizationStatusAuthorized) { return NO; } [self.captureSession startRunning]; self.isCapturing = YES; return YES; } /** 摄像头采集的数据回调 @param output 输出设备 @param sampleBuffer 帧缓存数据，描述当前帧信息 @param connection 连接 */ - (void)captureOutput:(AVCaptureOutput *)output didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection { if ([self.delegate respondsToSelector:@selector(videoCaptureDataCallback:)]) { [self.delegate videoCaptureDataCallback:sampleBuffer]; } } 切换前后摄像头采集视频数据的过程中，我们可能需要切换前后摄像头，这时候我们只需要把AVCaptureSession中的输入端改成前置摄像头就可以了。这里是修改了输入端口，也就是需要调用beginConfiguration和commitConfiguration包起来。当然也可以选择先调用stopRunning方法停止采集，然后重新配置好输入和输出，再调用startRunning开启采集。 // 获取所有摄像头 NSArray *cameras= [AVCaptureDevice devicesWithMediaType:AVMediaTypeVideo]; // 获取当前摄像头方向 AVCaptureDevicePosition currentPosition = self.captureDeviceInput.device.position; AVCaptureDevicePosition toPosition = AVCaptureDevicePositionUnspecified; if (currentPosition == AVCaptureDevicePositionBack || currentPosition == AVCaptureDevicePositionUnspecified) { toPosition = AVCaptureDevicePositionFront; } else { toPosition = AVCaptureDevicePositionBack; } NSArray *captureDeviceArray = [cameras filteredArrayUsingPredicate:[NSPredicate predicateWithFormat:@"position == %d", toPosition]]; if (captureDeviceArray.count == 0) { return; } NSError *error = nil; AVCaptureDevice *camera = captureDeviceArray.firstObject; // 开始配置 [self.captureSession beginConfiguration]; AVCaptureDeviceInput *newInput = [AVCaptureDeviceInput deviceInputWithDevice:camera error:&error]; [self.captureSession removeInput:self.captureDeviceInput]; if ([_captureSession canAddInput:newInput]) { [_captureSession addInput:newInput]; self.captureDeviceInput = newInput; } // 提交配置 [self.captureSession commitConfiguration]; // 重新获取连接并设置视频的方向、是否镜像 self.captureConnection = [self.captureVideoDataOutput connectionWithMediaType:AVMediaTypeVideo]; self.captureConnection.videoOrientation = AVCaptureVideoOrientationPortrait; if (camera.position == AVCaptureDevicePositionFront && self.captureConnection.supportsVideoMirroring) { self.captureConnection.videoMirrored = YES; } 设置视频的帧率iOS默认输出的视频帧率为30帧/秒，在某些应用场景下我们可能用不到30帧，我们也可以设置或修改视频的输出帧率 // 获取设置支持设置的帧率范围 NSInteger frameRate = 15; AVFrameRateRange *frameRateRange = [self.captureDeviceInput.device.activeFormat.videoSupportedFrameRateRanges objectAtIndex:0]; if (frameRate > frameRateRange.maxFrameRate || frameRate < frameRateRange.minFrameRate) { return; } // 设置输入的帧率 self.captureDeviceInput.device.activeVideoMinFrameDuration = CMTimeMake(1, (int)frameRate); self.captureDeviceInput.device.activeVideoMaxFrameDuration = CMTimeMake(1, (int)frameRate); 踩坑及总结用的时候我们是有设置AVCaptureVideoPreviewLayer的connection的videoOrientation属性来确定画面的方向的。刚开始的时候出现了很奇怪的现象，AVCaptureVideoPreviewLayer的画面是正常的竖屏方向，但拿采集出来的视频流去播放的时候发现画面是横屏方向。后来发现，这里AVCaptureVideoPreviewLayer的connection属性跟我们通过connectionWithMediaType方法获取到的connection不是同一个对象，需要分别设置。像我们上面分析看到，connection是维护一个输入设备和一个输出的，也就是说AVCaptureSession有多个connection。找到对应需要的connection设置videoOrientation，问题解决。 iOS视频采集这一块内容不多，难度也比较低，应该还是比较好上手的。本文限于篇幅没有详细说明设置摄像头的相关内容，例如闪光灯、对焦等。建议阅读AVFoundation官方文档，少走弯路。 下一篇将介绍H264硬编码的实现，最后附上Demo地址：https://github.com/GenoChen/MediaService |
| 今日新闻 |
| 推荐新闻 |
| 专题文章 |
| CopyRight 2018-2019 实验室设备网 版权所有 |