GPUImage原理
GPUImage是一个开元的基于GPU的图片或视频的处理框架,其本身内置了多达120多种常见的滤镜效果,并且支持照相机和摄像机的实时滤镜,并且能够自定义图像滤镜。
美颜的基本概念
OpenGL ES:开源嵌入式系统图形的处理框架,一套图形与硬件接口,创造了软件与图形加速间灵活强大的底层交互接口。用于把处理好的图片显示到屏幕上。
GPU:(图形处理单元)手机或者电脑用于图像处理和渲染的硬件。
GPU工作原理:CPU指定显示器工作,显示控制器根据CPU的控制到指定的地方去取数据和指令,目前的数据一般是从显存里取,如果显存里存不下,则从内存里取,内存也放不下,则从硬盘里取。
滤镜处理的原理:就是把静态图片或者视频的每一帧进行图形变化后在显示到屏幕上,其本质就是像素点的坐标和颜色的变化。
OpenGL ES程序处理图片的步骤:
1.初始化OpenGL ES 环境,编译、链接顶点着色器和片元着色器。
2.缓存顶点、纹理坐标数据,传送图像数据到GPU
3.绘制图元到特定的帧缓存;
4.在帧缓存去除绘制的图像。
GPUImage基本概念
GPUImage是采用链式方法来处理画面,通过addTarget方法添加对象到链中,处理完一个target,就会吧上一个环节处理好的图像数据传递到下一个target处理,成为GPUImage处理链。
GPUImage的四大输入基础类,都可以作为响应链的起点,这些基础类会把图像作为纹理传给OpenGL ES处理,然后把纹理传递给响应链的下一个target对象。
GPUImage的处理环节
source(视频,图片源)->filter(滤镜)->final target(处理后的视频、图片)
source:
GPUImageVideoCamera 摄像头-用于实时拍摄视频
GPUImageStillCamera 摄像头-用于实时拍摄照片
GPUImagePicture 用于处理已经拍摄好的图片
GPUImageMovie 用于处理已经拍摄好的视频
filter
GPUImageFilter:就是用来接收源图像,通过自定义的顶点,片元着色器来渲染新的图像,并在绘制完成后通知响应链的下一个对象。
GPUImageFramebuffer:就是用来管理纹理缓存的格式与读写帧缓存的buffer。
GPUImage的filter:GPUImageFilter类或者子类,这个类继承自GPUImageOutput,遵循GPUImageInput协议,既可以流进数据,又可以流出GPUImage的final target: GPUImageView,GPUImageMovieWriter最终输入目标,显示图片或者视频。
解析
GPUImageVideoCamera
GPUImageVideoCamera是GPUImageOutput的子类,提供来自摄像头的图像数据作为源数据,一般是响应链的源头。
1.视频图像采集:AVCaptureSession
GPUImage使用AVFoundation框架来获取视频。AVCaptureSession类从AV输入设备的采集数据到指定的输出。
具体使用看上一篇。
2.颜色空间:YUV
YUV是被欧洲电视系统索采用的一种颜色编码方法。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。如果只有Y信号分量而没有U、V分量,那么这样表示的图像就是黑白灰度图像,彩色电视采用YUV空间正式为了用亮度信号Y解决彩色电视机与黑白电视机的兼容问题,使黑白电视机也能接收彩色电视信号。
YUV主要用于优化彩色视频信号的传输,使其向后相容老式黑白电视。与RGB视频信号传输相比,它最大的优点在于只需占用极少的频宽。
GPUImage中的YUV
GLProgram *yuvConversionProgram:将YUV颜色空间转换成RGB颜色空间的GLSL。
CVPixelBufferGetPlaneCount:返回缓冲区的平面数。
CVOpenGLESTextureCacheCreateTextureFromImage():
创建两个纹理luminanceTextureRef(亮度纹理)和chrominanceTextureRef(色度纹理)。
convertYUVToRGBOutput():把YUV颜色空间的纹理转换成RGB颜色空间的纹理。
顶点着色器-通用kGPUImageVertexShaderString
片元着色器:
1.kGPUImageYUVFullRangeConversionForLAFragmentShaderString 2.kGPUImageYUVVideoRangeConversionForLAFragmentShaderString
纹理绘制
glActiveTexture(GL_TEXTURE1);
glGenTextures(1, &_texture);
glBindTexture(GL_TEXTURE_2D, _texture);
GPUImageView是响应链的终点,用于显示GPUImage图像
1.填充模式
GPUImageFillModeType fillMode图像的填充模式。
sizeInPixels 像素区域的大小
recalculateViewGeometry 重新计算图像顶点位置数据
AVMakeRectWithAspectRatioInsideRece 在保证宽高比不变的前提下,得到一个尽可能大的矩形。
---未完
28 #import "GPUImageBrightnessFilter.h" //亮度
29 #import "GPUImageExposureFilter.h" //曝光
30 #import "GPUImageContrastFilter.h" //对比度
31 #import "GPUImageSaturationFilter.h" //饱和度
32 #import "GPUImageGammaFilter.h" //伽马线
33 #import "GPUImageColorInvertFilter.h" //反色
34 #import "GPUImageSepiaFilter.h" //褐色(怀旧)
35 #import "GPUImageLevelsFilter.h" //色阶
36 #import "GPUImageGrayscaleFilter.h" //灰度
37 #import "GPUImageHistogramFilter.h" //色彩直方图,显示在图片上
38 #import "GPUImageHistogramGenerator.h" //色彩直方图
39 #import "GPUImageRGBFilter.h" //RGB
40 #import "GPUImageToneCurveFilter.h" //色调曲线
41 #import "GPUImageMonochromeFilter.h" //单色
42 #import "GPUImageOpacityFilter.h" //不透明度
43 #import "GPUImageHighlightShadowFilter.h" //提亮阴影
44 #import "GPUImageFalseColorFilter.h" //色彩替换(替换亮部和暗部色彩)
45 #import "GPUImageHueFilter.h" //色度
46 #import "GPUImageChromaKeyFilter.h" //色度键
47 #import "GPUImageWhiteBalanceFilter.h" //白平横
48 #import "GPUImageAverageColor.h" //像素平均色值
49 #import "GPUImageSolidColorGenerator.h" //纯色
50 #import "GPUImageLuminosity.h" //亮度平均
51 #import "GPUImageAverageLuminanceThresholdFilter.h" //像素色值亮度平均,图像黑白(有类似漫画效果)
52
53 #import "GPUImageLookupFilter.h" //lookup 色彩调整
54 #import "GPUImageAmatorkaFilter.h" //Amatorka lookup
55 #import "GPUImageMissEtikateFilter.h" //MissEtikate lookup
56 #import "GPUImageSoftEleganceFilter.h" //SoftElegance lookup 61 #pragma mark - 图像处理 Handle Image
62
63 #import "GPUImageCrosshairGenerator.h" //十字
64 #import "GPUImageLineGenerator.h" //线条
65
66 #import "GPUImageTransformFilter.h" //形状变化
67 #import "GPUImageCropFilter.h" //剪裁
68 #import "GPUImageSharpenFilter.h" //锐化
69 #import "GPUImageUnsharpMaskFilter.h" //反遮罩锐化
70
71 #import "GPUImageFastBlurFilter.h" //模糊
72 #import "GPUImageGaussianBlurFilter.h" //高斯模糊
73 #import "GPUImageGaussianSelectiveBlurFilter.h" //高斯模糊,选择部分清晰
74 #import "GPUImageBoxBlurFilter.h" //盒状模糊
75 #import "GPUImageTiltShiftFilter.h" //条纹模糊,中间清晰,上下两端模糊
76 #import "GPUImageMedianFilter.h" //中间值,有种稍微模糊边缘的效果
77 #import "GPUImageBilateralFilter.h" //双边模糊
78 #import "GPUImageErosionFilter.h" //侵蚀边缘模糊,变黑白
79 #import "GPUImageRGBErosionFilter.h" //RGB侵蚀边缘模糊,有色彩
80 #import "GPUImageDilationFilter.h" //扩展边缘模糊,变黑白
81 #import "GPUImageRGBDilationFilter.h" //RGB扩展边缘模糊,有色彩
82 #import "GPUImageOpeningFilter.h" //黑白色调模糊
83 #import "GPUImageRGBOpeningFilter.h" //彩色模糊
84 #import "GPUImageClosingFilter.h" //黑白色调模糊,暗色会被提亮
85 #import "GPUImageRGBClosingFilter.h" //彩色模糊,暗色会被提亮
86 #import "GPUImageLanczosResamplingFilter.h" //Lanczos重取样,模糊效果
87 #import "GPUImageNonMaximumSuppressionFilter.h" //非最大抑制,只显示亮度最高的像素,其他为黑
88 #import "GPUImageThresholdedNonMaximumSuppressionFilter.h" //与上相比,像素丢失更多
89
90 #import "GPUImageSobelEdgeDetectionFilter.h" //Sobel边缘检测算法(白边,黑内容,有点漫画的反色效果)
91 #import "GPUImageCannyEdgeDetectionFilter.h" //Canny边缘检测算法(比上更强烈的黑白对比度)
92 #import "GPUImageThresholdEdgeDetectionFilter.h" //阈值边缘检测(效果与上差别不大)
93 #import "GPUImagePrewittEdgeDetectionFilter.h" //普瑞维特(Prewitt)边缘检测(效果与Sobel差不多,貌似更平滑)
94 #import "GPUImageXYDerivativeFilter.h" //XYDerivative边缘检测,画面以蓝色为主,绿色为边缘,带彩色
95 #import "GPUImageHarrisCornerDetectionFilter.h" //Harris角点检测,会有绿色小十字显示在图片角点处
96 #import "GPUImageNobleCornerDetectionFilter.h" //Noble角点检测,检测点更多
97 #import "GPUImageShiTomasiFeatureDetectionFilter.h" //ShiTomasi角点检测,与上差别不大
98 #import "GPUImageMotionDetector.h" //动作检测
99 #import "GPUImageHoughTransformLineDetector.h" //线条检测
100 #import "GPUImageParallelCoordinateLineTransformFilter.h" //平行线检测
101
102 #import "GPUImageLocalBinaryPatternFilter.h" //图像黑白化,并有大量噪点
103
104 #import "GPUImageLowPassFilter.h" //用于图像加亮
105 #import "GPUImageHighPassFilter.h" //图像低于某值时显示为黑
106
107
108 #pragma mark - 视觉效果 Visual Effect
109
110 #import "GPUImageSketchFilter.h" //素描
111 #import "GPUImageThresholdSketchFilter.h" //阀值素描,形成有噪点的素描
112 #import "GPUImageToonFilter.h" //卡通效果(黑色粗线描边)
113 #import "GPUImageSmoothToonFilter.h" //相比上面的效果更细腻,上面是粗旷的画风
114 #import "GPUImageKuwaharaFilter.h" //桑原(Kuwahara)滤波,水粉画的模糊效果;处理时间比较长,慎用
115
116 #import "GPUImageMosaicFilter.h" //黑白马赛克
117 #import "GPUImagePixellateFilter.h" //像素化
118 #import "GPUImagePolarPixellateFilter.h" //同心圆像素化
119 #import "GPUImageCrosshatchFilter.h" //交叉线阴影,形成黑白网状画面
120 #import "GPUImageColorPackingFilter.h" //色彩丢失,模糊(类似监控摄像效果)
121
122 #import "GPUImageVignetteFilter.h" //晕影,形成黑色圆形边缘,突出中间图像的效果
123 #import "GPUImageSwirlFilter.h" //漩涡,中间形成卷曲的画面
124 #import "GPUImageBulgeDistortionFilter.h" //凸起失真,鱼眼效果
125 #import "GPUImagePinchDistortionFilter.h" //收缩失真,凹面镜
126 #import "GPUImageStretchDistortionFilter.h" //伸展失真,哈哈镜
127 #import "GPUImageGlassSphereFilter.h" //水晶球效果
128 #import "GPUImageSphereRefractionFilter.h" //球形折射,图形倒立
129
130 #import "GPUImagePosterizeFilter.h" //色调分离,形成噪点效果
131 #import "GPUImageCGAColorspaceFilter.h" //CGA色彩滤镜,形成黑、浅蓝、紫色块的画面
132 #import "GPUImagePerlinNoiseFilter.h" //柏林噪点,花边噪点
133 #import "GPUImage3x3ConvolutionFilter.h" //3x3卷积,高亮大色块变黑,加亮边缘、线条等
134 #import "GPUImageEmbossFilter.h" //浮雕效果,带有点3d的感觉
135 #import "GPUImagePolkaDotFilter.h" //像素圆点花样
136 #import "GPUImageHalftoneFilter.h" //点染,图像黑白化,由黑点构成原图的大致图形
137
138
139 #pragma mark - 混合模式 Blend
140
141 #import "GPUImageMultiplyBlendFilter.h" //通常用于创建阴影和深度效果
142 #import "GPUImageNormalBlendFilter.h" //正常
143 #import "GPUImageAlphaBlendFilter.h" //透明混合,通常用于在背景上应用前景的透明度
144 #import "GPUImageDissolveBlendFilter.h" //溶解
145 #import "GPUImageOverlayBlendFilter.h" //叠加,通常用于创建阴影效果
146 #import "GPUImageDarkenBlendFilter.h" //加深混合,通常用于重叠类型
147 #import "GPUImageLightenBlendFilter.h" //减淡混合,通常用于重叠类型
148 #import "GPUImageSourceOverBlendFilter.h" //源混合
149 #import "GPUImageColorBurnBlendFilter.h" //色彩加深混合
150 #import "GPUImageColorDodgeBlendFilter.h" //色彩减淡混合
151 #import "GPUImageScreenBlendFilter.h" //屏幕包裹,通常用于创建亮点和镜头眩光
152 #import "GPUImageExclusionBlendFilter.h" //排除混合
153 #import "GPUImageDifferenceBlendFilter.h" //差异混合,通常用于创建更多变动的颜色
154 #import "GPUImageSubtractBlendFilter.h" //差值混合,通常用于创建两个图像之间的动画变暗模糊效果
155 #import "GPUImageHardLightBlendFilter.h" //强光混合,通常用于创建阴影效果
156 #import "GPUImageSoftLightBlendFilter.h" //柔光混合
157 #import "GPUImageChromaKeyBlendFilter.h" //色度键混合
158 #import "GPUImageMaskFilter.h" //遮罩混合
159 #import "GPUImageHazeFilter.h" //朦胧加暗
160 #import "GPUImageLuminanceThresholdFilter.h" //亮度阈
161 #import "GPUImageAdaptiveThresholdFilter.h" //自适应阈值
162 #import "GPUImageAddBlendFilter.h" //通常用于创建两个图像之间的动画变亮模糊效果
163 #import "GPUImageDivideBlendFilter.h" //通常用于创建两个图像之间的动画变暗模糊效果
164
165
166 #pragma mark - 尚不清楚
167 #import "GPUImageJFAVoroniFilter.h"
168 #import "GPUImageVoroniConsumerFilter.h"
好吧,这里加上自己的一个练手app的地址,扫描即可下载:
GPUImage原理的更多相关文章
- GPUImage处理图片(滤镜)
GPUImage 是基于 GPU 处理图像的一个开源库, 提供了各种图像处理滤镜,例如调 亮度/饱和度/曝光度/白平衡/锐化等滤镜. 并且支持照相机/摄像机 的实时滤镜. GPUImage采用链式方式 ...
- 【如何快速的开发一个完整的 iOS 直播 app】(美颜篇)
来源:袁峥Seemygo 链接:http://www.jianshu.com/p/4646894245ba 前言 在看这篇之前,如果您还不了解直播原理,请查看这篇文章如何快速的开发一个完整的iOS直播 ...
- 如何快速的开发一个完整的iOS直播app(美颜篇)
前言 在看这篇之前,如果您还不了解直播原理,请查看这篇文章如何快速的开发一个完整的iOS直播app(原理篇) 开发一款直播app,美颜功能是很重要的,如果没有美颜功能,可能分分钟钟掉粉千万,本篇主要讲 ...
- 教你实现GPUImage - OpenGL渲染原理<转>
http://www.open-open.com/lib/view/open1483943550976.html
- 【如何快速的开发一个完整的iOS直播app】(原理篇)
原文转自:袁峥Seemygo 感谢分享.自我学习 目录 [如何快速的开发一个完整的iOS直播app](原理篇) [如何快速的开发一个完整的iOS直播app](播放篇) [如何快速的开发一个完整的 ...
- iOS:app直播---原理篇
[如何快速的开发一个完整的iOS直播app](原理篇) 转载自简书@袁峥Seemygo:http://www.jianshu.com/p/7b2f1df74420 一.个人见解(直播难与易) 直播 ...
- 如何快速的开发一个完整的iOS直播app(原理篇)
目录 [如何快速的开发一个完整的iOS直播app](原理篇) [如何快速的开发一个完整的iOS直播app](播放篇) [如何快速的开发一个完整的iOS直播app](采集篇) 前言 大半年没写博客了,但 ...
- 使用GPUImage开启的相机进行摄像,保存写入到Path
之前已经有一篇博客讲过怎么开启摄像头并完成对摄像头的图像的滤镜化了,现在就说说怎么录像,并把这个添加滤镜的录像文件写到Path 原理是GPUImage给出了GPUImageMovieWriter这么个 ...
- 基于GPUImage的实时美颜滤镜
1.背景 前段时间由于项目需求,做了一个基于GPUImage的实时美颜滤镜.现在各种各样的直播.视频App层出不穷,美颜滤镜的需求也越来越多.为了回馈开源,现在我把它放到了GitHub https:/ ...
随机推荐
- docker--数据卷与数据卷容器
docker--数据卷与数据卷容器 1.数据卷: 创建一个volumes的文件夹: [root@docker01 /]# mkdir volumes [root@docker01 /]# ls bin ...
- JAVA上传与下载
java下载指定地址的文件 package com.test; import java.io.FileNotFoundException; import java.io.FileOutputStrea ...
- JS中关于clientWidth offsetWidth scrollWidth 的区别及意义
网页可见区域宽: document.body.clientWidth;网页可见区域高: document.body.clientHeight;网页可见区域宽: document.body.offset ...
- TCP错误恢复特性之一TCP重传
TCP的错误恢复特性是我们用来定位.诊断并最终修复网络高延迟的最好工具. 常见的TCP错误恢复特性有:TCP重传.TCP重复确认和快速重传 1. TCP重传: 重传数据包是TCP最基本的错误恢复特性之 ...
- js实现日期格式化
<!DOCTYPE html><html><head> <meta charset="utf-8"> <meta http-e ...
- thinkphp分页带数据
因为用thinkphp做分页时候点击下一页后搜索栏的数据会清空,然后点击下一页后刷新完了就没有内容了,感觉网上查找和我自己研究在不适用ajax做分页的情况下用以下代码就可以实现!!通过把值扔地址栏来进 ...
- Java用Cookie简单限制点赞次数
楼主最近在搞一个当下比较流行的点赞功能,这个功能也是让程序员又爱又恨啊 说起爱,点赞是个社会化的动作,全民都在为美好的事情,行为,动作,点赞. 说起恨,你很难在用户没有登录的情况下限制恶意点赞的机器人 ...
- 我JAVA修炼之路
今天起,我会不定期更新我的java修炼之路, 2017.7.10,星期一 我参见了河南青云的培训班,这一天是我们的开班典礼. 我会不定期的总结我的学习笔记,大家喜欢的可以看看,不喜勿喷. 写代码: 1 ...
- css动画属性--小球移动
主体只有一个div <body> <div></div> </body> 样式部分(测试:目前的浏览器还是需要加前缀才能兼容) <style> ...
- Jenkins 的svn插件下载的代码不是最新代码的问题
项目组使用Jenkins做自动化的每日编译和单元测试.经常发现,当提交完代码后,在Jenkins的每日编译代码还是旧代码,刚提交的代码并没有check out出来. 后来发现Jenkins服务器的时间 ...