PHP模拟发送POST请求之五curl基本使用和多线程优化
今天来介绍PHP模拟发送POST请求的重型武器——cURL函数库的使用和其多线程的优化方法。
说起cURL函数,可谓是老生常谈,但网上许多资料都在关键部分语焉不详,列出一大堆手册上的东西,搞得我入门时也万分痛苦,我翻了些资料,结合自己的笔记,总结了这篇博文,希望能给初次接触cURL的开发者提供一些帮助。
cURL的基本使用步骤
首先来介绍cURL:
cURL按照HTTP头信息来模拟浏览器传输数据,它支持FTP, FTPS, HTTP, HTTPS, DICT, FILE等协议,拥有HTTPS认证,HTTP POST方法,HTTP PUT方法,FTP上传,HTTP上传,代理服务器,cookies,用户名/密码认证等功能。cURL可谓是实现爬站抓取网页、POST数据等功能的利器。
使用cURL函数主要分为四部分:
1.初始化cURL。
2.设置cURL变量,这是cRUL的核心,扩展功能全靠这一步骤。
3.执行cURL,获取结果。
4.关闭连接,回收资源。
- $ch = curl_init();//
- curl_setopt($ch, CURLOPT_URL, "http://localhost");//
- $output = curl_exec($ch);//
- curl_close($ch);//
另外,我们还可以使用curl_getinfo($ch)函数获取curl执行的信息,其结果为一个数组
$info数组的内容包括如下等内容:
- “url” //资源网络地址
- “content_type” //内容编码
- “http_code” //HTTP状态码
- “filetime” //文件创建时间
- “total_time” //总耗时
- “size_upload” //上传数据的大小
- “size_download” //下载数据的大小
- “speed_download” //下载速度
- “speed_upload” //上传速度
- “download_content_length”//下载内容的长度
- “upload_content_length” //上传内容的长度
cURL的常用设置
下面详细介绍curl使用第二步时常用的变量设置,在使用curl函数时,可以按各种需求来设置。
设置基本信息:
curl_setopt($ch, CURLOPT_URL, $string);//设置curl的目录地址
curl_setopt($ch, CURLOPT_PORT, $port);//设置连接端口,一般不设置默认80
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);//返回结果流,并不是输出它留待后续处理,一般会设置这一项,稍后处理抓取到的信息,而不是直接输出出来。
设置POST数据信息:
curl_setopt($ch, CURLOPT_POST, 1);//设置传送数据方式为POST
curl_setopt($ch, CURLOPT_POSTFIELDS, $string);//设置要传输的数据
设置验证信息:
curl_setopt($ch, CURLOPT_COOKIE, $string);//设置curl执行时所携带的Cookie信息
curl_setopt($ch, CURLOPT_USERAGENT, $string);//设置curl模拟的浏览器信息
curl_setopt($ch, CURLOPT_REFERER, $string);//设置header中的referer,有利于破解防盗链
curl_setopt($ch, CURLOPT_USERPWD, $string);//传递一个连接中需要的用户名和密码,格式为:"[username]:[password]"
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);//设置允许服务器重定向
设置强化信息:
curl_setopt($ch, CURLOPT_NOBODY, 1);//设置不允许输出HTML body体,如果在抓取页面标题等信息时设置此选项会大大加快速度
curl_setopt($ch, CURLOPT_TIMEOUT, $int);//设置允许执行的最长秒数(超时时间),设置数值小的时候,CURL会放弃执行时间长的页面
curl_setopt($ch, CURLOPT_HEADER, 1);//设置允许将读取目标时产生的header头文件包含在输出流中
cURL批处理功能的基本使用
当然cURL的功能并不止于此,在手册上你可以找到它更多的变量设置。而且cURL最强大的地方在其批处理功能。
cURL的批处理似乎也很好理解,以下是一般步骤:
1.$mh = curl_multi_init();//初始化一个批处理句柄。
2.curl_multi_add_handle($mh,$ch); //往批处理句柄中添加设置好的$ch句柄。
3.curl_multi_exec($mh,$running);//执行$mh句柄,并将$mh句柄的运行状态写入$running变量中
4.当$running为true时循环执行curl_multi_close()函数
5.循环结束后遍历$mh句柄,用curl_multi_getcontent()获取第一个句柄的返回值
6.用curl_multi_remove_handle()将$mh中的句柄移除
7.用curl_multi_close()关闭$mh批处理句柄。
代码如下:
- <?php
- $chArr=[];
- for($i=0;$i<50;$i++){
- $chArr[$i]=curl_init("http://www.baidu.com");
- curl_setopt($chArr[$i],CURLOPT_RETURNTRANSFER,1);
- }
- $mh = curl_multi_init(); //
- foreach($chArr as $k => $ch){
- curl_multi_add_handle($mh,$ch); //
- }
- $running = null;
- do{
- curl_multi_exec($mh,$running); //
- }while($running > 0); //
- foreach($chArr as $k => $ch){
- $result[$k]= curl_multi_getcontent($ch); //
- curl_multi_remove_handle($mh,$ch);//
- }
- curl_multi_close($mh); //
- ?>
cURL批处理时内存占用过多的问题
但是,执行大批量的句柄时我们会发现一个很严重的问题,那就是执行时系统CPU占用率几乎100%,几乎是死机状态了。纠其原因,那是因为在$running>0,执行 curl_multi_exec($mh,$running)而整个批处理句柄没有全部执行完毕时,系统会不停地执行curl_multi_exec()函数。我们用实验来证明:
我们在循环中curl_multi_exec($mh,$running)句前加入一个echo "a";的语句。我们的目的是执行50次对百度的访问,然后来看一下结果。
从图中滚动条的大小(滚动条已经最小状态了)可以大概看出输出a的个数,500个也不止,所以我们便可以找到占用CPU的罪魁祸首了。
cURL批处理时的内存优化方案
进行改动的方式是应用curl函数库中的curl_multi_select()函数,其函数原型如下:
int curl_multi_select ( resource $mh [, float $timeout = 1.0 ] )
阻塞直到cURL批处理连接中有活动连接。成功时返回描述符集合中描述符的数量。失败时,select失败时返回-1,否则返回超时(从底层的select系统调用)。
我用们curl_multi_select()函数来达到没有需要读取的程序就阻塞住的目的。
我们对批处理的第3、4步进行优化,利用其多线程,模拟并发程序。
很多朋友会对手册中提供的代码心存疑惑(我一开始也是),下面的代码及解释。
- $running = null;
- do {
- $mrc = curl_multi_exec($mh, $running);
- } while ($mrc == CURLM_CALL_MULTI_PERFORM);
- //本次循环第一次处理$mh批处理中的$ch句柄,并将$mh批处理的执行状态写入$running,当状态值等于CURLM_CALL_MULTI_PERFORM时,表明数据还在写入或读取中,执行循环,当第一次$ch句柄的数据写入或读取成功后,状态值变为CURLM_OK,跳出本次循环,进入下面的大循环之中。
- //$running为true,即$mh批处理之中还有$ch句柄正待处理,$mrc==CURLM_OK,即上一次$ch句柄的读取或写入已经执行完毕。
- while ($running && $mrc == CURLM_OK) {
- if (curl_multi_select($mh) != -1) {//$mh批处理中还有可执行的$ch句柄,curl_multi_select($mh) != -1程序退出阻塞状态。
- do { //继续执行需要处理的$ch句柄。
- $mrc = curl_multi_exec($mh, $running);
- } while ($mrc == CURLM_CALL_MULTI_PERFORM);
- }
- }
这样执行的好处是$mh批处理中的$ch句柄会在读取或写入数据结束后($mrc==CURLM_OK),进入curl_multi_select($mh)的阻塞阶段,而不会在整个$mh批处理执行时不停地执行curl_multi_exec,白白浪费CPU资源。
cURL批处理的内存优化结果
完整代码如下:
- <?php
- $chArr=[];
- for($i=0;$i<50;$i++){
- $chArr[$i]=curl_init("http://www.baidu.com");
- curl_setopt($chArr[$i],CURLOPT_RETURNTRANSFER,1);
- }
- $mh = curl_multi_init();
- foreach($chArr as $k => $ch)
- curl_multi_add_handle($mh,$ch);
- $running = null;
- do {
$mrc = curl_multi_exec($mh, $running);- } while ($mrc == CURLM_CALL_MULTI_PERFORM);
- while ($running && $mrc == CURLM_OK) {
- if (curl_multi_select($mh) != -1) {
- do {
- $mrc = curl_multi_exec($mh, $running);
- } while ($mrc == CURLM_CALL_MULTI_PERFORM);
- }
- }
- foreach($chArr as $k => $ch){
- $result[$k]= curl_multi_getcontent($ch);
- curl_multi_remove_handle($mh,$ch);
- }
- curl_multi_close($mh);
- ?>
我们再次在 $mrc = curl_multi_exec($mh, $running)句子前加入echo "a";结果如下图:
虽然也不止50次,但是比之未优化前,CPU使用率已经大为改观。
虽然curl函数非常强大,但是我们还是有使用其他函数来发送POST请求的机会,另外也能从更底层了解curl函数,所以本辑也用大很大篇幅在其他函数上。
OK,本辑结束,写这辑博文的同时,我也学习到了很多。如果您觉得本博文对您有帮助,请您点推荐或关注我,我们继续分享我的笔记总结。如果有什么问题,您可以在下方留言讨论,谢谢阅读。
PHP模拟发送POST请求之五curl基本使用和多线程优化的更多相关文章
- PHP模拟发送POST请求之一、HTTP协议头部解析
WEB开发中信息基本全是在POST与GET请求与响应中进行,GET因其基于URL的直观,易被我们了解,可POST请求因其信息的隐蔽,在安全的同时,也给开发者们模拟发送带来了麻烦.接下来的几篇博文中,我 ...
- WebClient模拟发送Post请求
WebClient模拟发送Post请求方法: /// <summary> /// 模拟post请求 /// </summary> /// <param name=&quo ...
- jmeter测试TCP服务器/模拟发送TCP请求
jmeter测试TCP服务器,使用TCP采样器模拟发送TCP请求. TCP采样器:打开一个到指定服务器的TCP / IP连接,然后发送指定文本并等待响应. jmeter模拟发送TCP请求的方法: 1. ...
- jmeter ---测试TCP服务器/模拟发送TCP请求
jmeter测试TCP服务器/模拟发送TCP请求 jmeter测试TCP服务器,使用TCP采样器模拟发送TCP请求. TCP采样器:打开一个到指定服务器的TCP / IP连接,然后发送指定文本并等待响 ...
- jmeter测试TCP服务器/模拟发送TCP请求 设置16进制发送(转)
转载留存:http://blog.sina.com.cn/s/blog_46d0362d0102v8ii.html 性能测试需要模拟多种场景,经常受制于资源限制,没办法建立贴近实际部署环境的场景.因而 ...
- 模拟发送http请求的工具推荐
做网站开发时,经常需要发送请求来测试自己的代码是否OK,这时候模拟发送http请求的工具就起到了很大的作用.特别是需要在请求带header时就更加的有必要使用工具.下面推荐的工具有的是基于系统开发的程 ...
- [PHP学习教程 - 网络]004.模拟发送HTTP请求[GET/POST](HTTP Simulator)
引言:经常在开发期间,客户端与服务端的调试都是借助于真实的容器返回.尤其是在处理到POST时,通常刚刚入门的兄弟姐妹就一定要借助容器.今天,我们就来处理一下模拟HTTP. 本文列举了常见的四种请求方式 ...
- 【转载】curl 模拟 GET\POST 请求,curl查看响应头 以及 curl post 上传文件
补充说明:curl查看响应头 curl -I "http://www.baidu.com"HTTP/1.1 200 OK #HTTP协议 HTTP 返回码Server: Tengi ...
- Fiddler模拟发送post请求
fiddler在进行接口测试时,会模拟post请求,发送不同的请求参数,返回不同的结果,今天我们就来分享一下,怎么用Fiddler工具模拟post请求: 打开Fiddler工具,在右侧点击“compo ...
随机推荐
- Java魔法堂:初探MessageFormat.format和ChoiceFormat
一.前言 刚开始从.net的转向java的时候总觉得 String.format 用得不习惯,希望格式模版会这样 {}, }$s,$s's cat.%2$s,this is %1$s's dog. . ...
- java版复利计算器升级
github地址:https://github.com/iamcarson/Carson 伙伴:彭宏亮 学号:201406114148 与伙伴工作帅照: 本次升级的地方: 1.改善了界面显示,让界面整 ...
- ASP.NET获取IP的6种方法
服务端: //方法一 HttpContext.Current.Request.UserHostAddress; //方法二 HttpContext.Current.Request.ServerVari ...
- Android开发总是难以入门
发现自己很难入门,是真的太难,还是自己主观拒绝.
- struts2进阶篇(5)
一.OGNL简介 OGNL (Object-Graph Navigation Language)的缩写,简称对象图导航语言. OGNL表达式的特特点: >能够取对象的属性,也能调用对象的方法. ...
- 【poj 2185】Milking Grid(字符串--KMP+问题分解)
题意:给定一个由字符组成的矩阵,求出它的面积最小的覆盖矩阵.(感觉应该是可重叠的......* (・ω・)っ) 解法:KMP.行列互不影响,可以问题分解.先求出每一行的最小重复串,利用kmp中的nex ...
- Javascript定时跳转
因为做项目,用到跳转回上级页面,这里设置定时3秒跳转到目标页面 <script> setInterval("myInterval()",3000);//1000为1秒钟 ...
- PHP学习笔记:通过curl实现采集网站内容
关于curl,请各位同学自行百度,我直接上案例. 首先开启你的curl拓展,在php.ini文件把curl拓展开启,即取消extension=php_curl.dll的分号. eg:利用curl采集网 ...
- LinkedList的实现源码分析
LinkedList 以双向链表实现.链表无容量限制,但双向链表本身使用了更多空间,也需要额外的链表指针操作. 按下标访问元素--get(i)/set(i,e) 要悲剧的遍历链表将指针移动到位(如果i ...
- ASP.NET WebAPI 09 Controller的激活
在Controller之前我们先回顾一下HttpMessageHandler通道. 在这个图中我留一个HttpContollerDispatcher没有说明.因为这个类也是继承自HttpMessage ...