通过curl_setopt()函数可以方便快捷的抓取网页(采集很方便),curl_setopt 是php的一个扩展库

使用条件:需要在php.ini 中配置开启。(PHP 4 >= 4.0.2)
       //取消下面的注释
extension=php_curl.dll

在Linux下面,需要重新编译PHP了,编译时,你需要打开编译参数——在configure命令上加上“–with-curl” 参数。

1、 一个抓取网页的简单案例:

  1. // 创建一个新cURL资源
  2. $ch = curl_init();
  3. // 设置URL和相应的选项
  4. curl_setopt($ch, CURLOPT_URL, "http://www.baidu.com/");
  5. curl_setopt($ch, CURLOPT_HEADER, false);
  6. // 抓取URL并把它传递给浏览器
  7. curl_exec($ch);
  8. //关闭cURL资源,并且释放系统资源
  9. curl_close($ch);

2、POST数据案例:

  1. // 创建一个新cURL资源
  2. $ch = curl_init();
  3. $data = 'phone='. urlencode($phone);
  4. // 设置URL和相应的选项
  5. curl_setopt($ch, CURLOPT_URL, "http://www.post.com/");
  6. curl_setopt($ch, CURLOPT_POST, 1);
  7. curl_setopt($ch, CURLOPT_POSTFIELDS, $data);
  8. // 抓取URL并把它传递给浏览器
  9. curl_exec($ch);
  10. //关闭cURL资源,并且释放系统资源
  11. curl_close($ch);

3、关于SSL和Cookie

关于SSL也就是HTTPS协议,你只需要把CURLOPT_URL连接中的http://变成https://就可以了。当然,还有一个参数叫CURLOPT_SSL_VERIFYHOST可以设置为验证站点。
关于Cookie,你需要了解下面三个参数:
CURLOPT_COOKIE,在当面的会话中设置一个cookie
CURLOPT_COOKIEJAR,当会话结束的时候保存一个Cookie
CURLOPT_COOKIEFILE,Cookie的文件。

PS:新浪微博登陆API部分截取(部分我增加了点注释,全当参数翻译下。哈哈) 有兴趣的自己研究,自己挪为己用。嘿嘿

  1. /**
  2. * Make an HTTP request
  3. *
  4. * @return string API results
  5. * @ignore
  6. */
  7. function http($url, $method, $postfields = NULL, $headers = array()) {
  8. $this->http_info = array();
  9. $ci = curl_init();
  10. /* Curl settings */
  11. curl_setopt($ci, CURLOPT_HTTP_VERSION, CURL_HTTP_VERSION_1_0);//让cURL自己判断使用哪个版本
  12. curl_setopt($ci, CURLOPT_USERAGENT, $this->useragent);//在HTTP请求中包含一个"User-Agent: "头的字符串。
  13. curl_setopt($ci, CURLOPT_CONNECTTIMEOUT, $this->connecttimeout);//在发起连接前等待的时间,如果设置为0,则无限等待
  14. curl_setopt($ci, CURLOPT_TIMEOUT, $this->timeout);//设置cURL允许执行的最长秒数
  15. curl_setopt($ci, CURLOPT_RETURNTRANSFER, TRUE);//返回原生的(Raw)输出
  16. curl_setopt($ci, CURLOPT_ENCODING, "");//HTTP请求头中"Accept-Encoding: "的值。支持的编码有"identity","deflate"和"gzip"。如果为空字符串"",请求头会发送所有支持的编码类型。
  17. curl_setopt($ci, CURLOPT_SSL_VERIFYPEER, $this->ssl_verifypeer);//禁用后cURL将终止从服务端进行验证
  18. curl_setopt($ci, CURLOPT_HEADERFUNCTION, array($this, 'getHeader'));//第一个是cURL的资源句柄,第二个是输出的header数据
  19. curl_setopt($ci, CURLOPT_HEADER, FALSE);//启用时会将头文件的信息作为数据流输出
  20. switch ($method) {
  21. case 'POST':
  22. curl_setopt($ci, CURLOPT_POST, TRUE);
  23. if (!empty($postfields)) {
  24. curl_setopt($ci, CURLOPT_POSTFIELDS, $postfields);
  25. $this->postdata = $postfields;
  26. }
  27. break;
  28. case 'DELETE':
  29. curl_setopt($ci, CURLOPT_CUSTOMREQUEST, 'DELETE');
  30. if (!empty($postfields)) {
  31. $url = "{$url}?{$postfields}";
  32. }
  33. }
  34. if ( isset($this->access_token) && $this->access_token )
  35. $headers[] = "Authorization: OAuth2 ".$this->access_token;
  36. $headers[] = "API-RemoteIP: " . $_SERVER['REMOTE_ADDR'];
  37. curl_setopt($ci, CURLOPT_URL, $url );
  38. curl_setopt($ci, CURLOPT_HTTPHEADER, $headers );
  39. curl_setopt($ci, CURLINFO_HEADER_OUT, TRUE );
  40. $response = curl_exec($ci);
  41. $this->http_code = curl_getinfo($ci, CURLINFO_HTTP_CODE);
  42. $this->http_info = array_merge($this->http_info, curl_getinfo($ci));
  43. $this->url = $url;
  44. if ($this->debug) {
  45. echo "=====post data======\r\n";
  46. var_dump($postfields);
  47. echo '=====info====='."\r\n";
  48. print_r( curl_getinfo($ci) );
  49. echo '=====$response====='."\r\n";
  50. print_r( $response );
  51. }
  52. curl_close ($ci);
  53. return $response;
  54. }

转 PHP的CURL方法curl_setopt()函数案例介绍(抓取网页,POST数据)的更多相关文章

  1. PHP的CURL方法curl_setopt()函数案例介绍(抓取网页,POST数据)

    通过curl_setopt()函数可以方便快捷的抓取网页(采集很方便),curl_setopt 是php的一个扩展库 使用条件:需要在php.ini 中配置开启.(PHP 4 >= 4.0.2) ...

  2. php curl_multi系列函数实现多线程抓取网页

    最近几天在做一个多搜索引擎关键字排名查询工具,用于及时方便的了解关键词在各大搜索引擎的排名. 在抓取360搜索的时候,发现360搜索每页只支持显示10个搜索结果,如果想获取100个搜索结果数据,就得搜 ...

  3. PHP中CURL方法curl_setopt()函数的一些参数

    bool curl_setopt (int ch, string option, mixed value)curl_setopt()函数将为一个CURL会话设置选项.option参数是你想要的设置,v ...

  4. PHP中CURL方法curl_setopt()函数的参数

    PHP CURL curl_setopt 参数 bool curl_setopt (int ch, string option, mixed value)curl_setopt()函数将为一个CURL ...

  5. PHP中CURL方法curl_setopt()函数的一些参数 (转)

    bool curl_setopt (int ch, string option, mixed value) curl_setopt()函数将为一个CURL会话设置选项.option参数是你想要的设置, ...

  6. 一个我经常用到的采集网页数据抓取网页获取数据的PHP函数类

    class get_c_str { var $str; var $start_str; var $end_str; var $start_pos; var $end_pos; var $c_str_l ...

  7. HTML5 Audio标签方法和函数API介绍

    问说网 > 文章教程 > 网页制作 > HTML5 Audio标签方法和函数API介绍 Audio APIHTML5HTML5 Audio预加载 HTML5 Audio标签方法和函数 ...

  8. PHP使用CURL抓取网页

    CURL是一个非常强大的开源库,支持很多协议,包括HTTP.FTP.TELNET等,我们使用它来发送HTTP请求.它给我 们带来的好处是可以通过灵活的选项设置不同的HTTP协议参数,并且支持HTTPS ...

  9. PHP的cURL库:抓取网页,POST数据及其他,HTTP认证 抓取数据

    From : http://developer.51cto.com/art/200904/121739.htm 下面是一个小例程: ﹤?php// 初始化一个 cURL 对象$curl = curl_ ...

随机推荐

  1. Java实例 Part2:Java语言基础

    Part2:Java语言基础 ** Example01:从控制台接收输入字符 ** 运行结果: 实现代码: import java.util.Scanner; public class Example ...

  2. C++ STL lower_bound()和upper_bound()

    lower_bound()和upper_bound()用法 1.在数组上的用法 假设a是一个递增数组,n是数组长度,则 lower_bound(a, a+n, x):返回数组a[0]~a[n-1]中, ...

  3. VS2015 opencv 无法打开文件“opencv_calib3d330d.lib”

    我用的opencv是3.3.0,vs是2015版,找到项目的属性管理器,链接器——>输入——>附加依赖项 把其他的东西都删掉,只添加 opencv_world330d.lib;%(Addi ...

  4. 北京Uber优步司机奖励政策(12月18日)

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  5. 北京Uber优步司机奖励政策(高峰期5倍奖励)(12月7日)

    用户组:人民优步及电动车(适用于12月7日) 滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http ...

  6. 上海Uber优步司机奖励政策(12月28日到1月3日)

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  7. 南京Uber优步司机奖励政策(12月28日到1月3日)

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  8. Python3 linux安装

    ./configure --prefix=/usr/local/python3 --with-ssl --enable-optimizations make && make insta ...

  9. 【WXS】变量定义保留标识符

    以下字符不能作为变量名称定义: delete void typeof null undefined NaN Infinity var if else true false require this f ...

  10. post接口_ajax上传

    Action() { web_reg_save_param("find_msg", "LB=message\":\"", "RB= ...