浅谈 php 采用curl 函数库获取网页 cookie 和 带着cookie去访问 网页的方法!!!!
由于近段时间帮朋友开发一个能够查询正方教务系统的微信公众平台号。有所收获。这里总结下个人经验。
开讲前,先吐槽一下新浪云服务器,一个程序里的 同一个函数 在PC测试可以正常运行,在它那里就会挂的现象。
老样子,我将在代码里注释清楚。使用下面的函数,将会获得两种形式的 cookie,一种保存在文件中,一种直接以变量的形式返回,
经验提示: 有时候,在不同的代码运行环境中,带着文件cookie 去访问会成功,而变量却失败,有时候却想法。不过,
目前,这两种方法总有一种会成功。
- function get_cookie($url_,$params_,$referer_){
- if($url_==null){echo "get_cookie_url_null";exit;}
- if($params_==null){echo "get_params_null";exit;}
- if($referer_==null){echo "get_referer-null";exit;}
- $this_header = array("content-type: application/x-www-form-urlencoded; charset=UTF-8");//访问链接时要发送的头信息
- $ch = curl_init($url_);//这里是初始化一个访问对话,并且传入url,这要个必须有
- //curl_setopt就是设置一些选项为以后发起请求服务的
- curl_setopt($ch,CURLOPT_HTTPHEADER,$this_header);//一个用来设置HTTP头字段的数组。使用如下的形式的数组进行设置: array('Content-type: text/plain', 'Content-length: 100')
- curl_setopt($ch, CURLOPT_HEADER,1);//如果你想把一个头包含在输出中,设置这个选项为一个非零值,我这里是要输出,所以为 1
- curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);//将 curl_exec()获取的信息以文件流的形式返回,而不是直接输出。设置为0是直接输出
- curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);//设置跟踪页面的跳转,有时候你打开一个链接,在它内部又会跳到另外一个,就是这样理解
- curl_setopt($ch,CURLOPT_POST,1);//开启post数据的功能,这个是为了在访问链接的同时向网页发送数据,一般数urlencode码
- curl_setopt($ch,CURLOPT_POSTFIELDS,$params_); //把你要提交的数据放这
- curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookie.txt');//获取的cookie 保存到指定的 文件路径,我这里是相对路径,可以是$变量
- //curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookie.txt');//要发送的cookie文件,注意这里是文件,还一个是变量形式发送
- //curl_setopt($curl, CURLOPT_COOKIE, $this->cookies);//例如这句就是设置以变量的形式发送cookie,注意,这里的cookie变量是要先获取的,见下面获取方式
- curl_setopt ($ch, CURLOPT_REFERER,$referer_); //在HTTP请求中包含一个'referer'头的字符串。告诉服务器我是从哪个页面链接过来的,服务器籍此可以获得一些信息用于处理。
- $content=curl_exec($ch); //重点来了,上面的众多设置都是为了这个,进行url访问,带着上面的所有设置
- if(curl_errno($ch)){
- echo 'Curl error: '.curl_error($ch);exit(); //这里是设置个错误信息的反馈
- }
- if($content==false){
- echo "get_content_null";exit();
- }
- preg_match('/Set-Cookie:(.*);/iU',$content,$str); //这里采用正则匹配来获取cookie并且保存它到变量$str里,这就是为什么上面可以发送cookie变量的原因
- $cookie = $str[1]; //获得COOKIE(SESSIONID)
- curl_close($ch);//关闭会话
- return $cookie;//返回cookie
- }
下面这个是如何利用上面的cookie 去访问网页,去post数据,去get页面代码的函数。
- function post($url,$post_data,$location = 0,$reffer = null,$origin = null,$host = null){
- $post_data = is_array($post_data)?http_build_query($post_data):$post_data;
- //产生一个urlencode之后的请求字符串,因为我们post,传送给网页的数据都是经过处理,一般是urlencode编码后才发送的
- $header = array( //头部信息,上面的函数已说明
- 'Accept:*/*',
- 'Accept-Charset:text/html,application/xhtml+xml,application/xml;q=0.7,*;q=0.3',
- 'Accept-Encoding:gzip,deflate,sdch',
- 'Accept-Language:zh-CN,zh;q=0.8',
- 'Connection:keep-alive',
- 'Content-Type:application/x-www-form-urlencoded',
- //'CLIENT-IP:'.$ip,
- //'X-FORWARDED-FOR:'.$ip,
- );
- //下面的都是头部信息的设置,请根据他们的变量名字,对应上面函数所说明
- if($host){
- $header = array_merge_recursive($header,array("Host:".$host));
- }
- else if($this->option["host"]){
- $header = array_merge_recursive($header,array("Host:".$this->option["host"]));
- }
- if($origin){
- $header = array_merge_recursive($header,array("Origin:".$origin));
- }
- else{
- $header = array_merge_recursive($header,array("Origin:".$url));
- }
- if($reffer){
- $header = array_merge_recursive($header,array("Referer:".$reffer));
- }
- else{
- $header = array_merge_recursive($header,array("Referer:".$url));
- }
- $curl = curl_init(); //这里并没有带参数初始化
- curl_setopt($curl, CURLOPT_URL, $url);//这里传入url
- curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
- curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);//对认证证书来源的检查,不开启次功能
- curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);//从证书中检测 SSL 加密算法
- curl_setopt($curl, CURLOPT_USERAGENT, $this->useragent);
- //模拟用户使用的浏览器,自己设置,我的是"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20100101 Firefox/23.0"
- curl_setopt($curl, CURLOPT_FOLLOWLOCATION, $location);
- curl_setopt($curl, CURLOPT_AUTOREFERER, 1);//自动设置referer
- curl_setopt($curl, CURLOPT_POST, 1);//开启post
- curl_setopt($curl, CURLOPT_ENCODING, "gzip" );
- //HTTP请求头中"Accept-Encoding: "的值。支持的编码有"identity","deflate"和"gzip"。如果为空字符串"",请求头会发送所有支持的编码类型。
- //我上面设置的是*/*
- curl_setopt($curl, CURLOPT_POSTFIELDS, $post_data);//要传送的数据
- //curl_setopt($curl, CURLOPT_COOKIE, $this->cookies);//以变量形式发送cookie,我这里没用它,文件保险点
- curl_setopt($curl, CURLOPT_COOKIEJAR, 'cookie.txt'); //存cookie的文件名,
- curl_setopt($curl, CURLOPT_COOKIEFILE, 'cookie.txt'); //发送
- curl_setopt($curl, CURLOPT_TIMEOUT, 30);//设置超时限制,防止死循环
- curl_setopt($curl, CURLOPT_HEADER, 1);
- curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
- $tmpInfo = curl_exec($curl);
- if (curl_errno($curl)) {
- echo 'Curl error: ' . curl_error ( $curl );exit();
- }
- curl_close($curl);
- list($header, $body) = explode("\r\n\r\n", $tmpInfo, 2);//分割出网页源代码的头和bode
- $tmpInfo = $this->auto_charest($tmpInfo);//转码,防止乱码,自定义函数
- return array("header"=>$header,"body"=>$body,"content"=>$tmpInfo);
- }
上面是post,下面是get,两者差不多,差别在于,get是没有post,传送数据给放前访问的网页的,仅仅只是获取源代码。
- function get($url,$location = 1,$origin = null,$reffer = null,$host = null){
- //$ip = $this->randip();
- if($url==null){
- echo "get-url-null";exit();
- }
- $header = array(
- 'Accept:*/*',
- 'Accept-Charset:GBK,utf-8;q=0.7,*;q=0.3',
- 'Accept-Encoding:gzip,deflate,sdch',
- 'Accept-Language:zh-CN,zh;q=0.8',
- 'Connection:keep-alive',
- //'CLIENT-IP:'.$ip,
- //'X-FORWARDED-FOR:'.$ip,
- );
- if($host){
- $header = array_merge_recursive($header,array("Host:".$host));
- }
- else if($this->option["host"]){
- $header = array_merge_recursive($header,array("Host:".$this->option["host"]));
- }
- if($origin){
- $header = array_merge_recursive($header,array("Origin:".$origin));
- }
- else{
- $header = array_merge_recursive($header,array("Origin:".$url));
- }
- if($reffer){
- $header = array_merge_recursive($header,array("Referer:".$reffer));
- }
- else{
- $header = array_merge_recursive($header,array("Referer:".$url));
- }
- $curl = curl_init();
- curl_setopt($curl, CURLOPT_URL, $url);
- curl_setopt($curl, CURLOPT_HTTPHEADER, $header);
- curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
- curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);
- curl_setopt($curl, CURLOPT_USERAGENT, $this->useragent);
- curl_setopt($curl, CURLOPT_FOLLOWLOCATION, $location);
- curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
- curl_setopt($curl, CURLOPT_AUTOREFERER, 1);
- curl_setopt($curl, CURLOPT_ENCODING, "gzip" );
- curl_setopt($curl, CURLOPT_HTTPGET, 1);
- //curl_setopt($curl, CURLOPT_COOKIE, $this->cookies);
- curl_setopt($curl, CURLOPT_COOKIEJAR, 'cookie.txt');
- curl_setopt($curl, CURLOPT_COOKIEFILE, 'cookie.txt');
- curl_setopt($curl, CURLOPT_TIMEOUT, 30);
- curl_setopt($curl, CURLOPT_HEADER, 1);
- curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
- $tmpInfo = curl_exec($curl);
- if (curl_errno($curl)) {
- echo 'Curl error: '.curl_error ($curl);exit();
- }
- curl_close($curl);
- list($header, $body) = explode("\r\n\r\n", $tmpInfo, 2);
- $tmpInfo = $this->auto_charest($tmpInfo);
- return array("header"=>$header,"body"=>$body,"content"=>$tmpInfo);
- }
OK,如果觉得对你有点用的,请默默点一下顶。(右下角)
浅谈 php 采用curl 函数库获取网页 cookie 和 带着cookie去访问 网页的方法!!!!的更多相关文章
- PHP中的CURL函数库
PHP中的CURL函数库(Client URL Library Function) curl_close — 关闭一个curl会话curl_copy_handle — 拷贝一个curl连接资源的所有内 ...
- Thinkphp3.2.3框架下封装公共的函数,例如封装CURL函数来获取接口数据
当我们需要在控制层调用相同的封装函数时,写多次相同的函数,显得代码十分的拉杂,不精简: TP框架有一个很好的机制,可以再Common定义一个function.php函数,当我们在控制层调用的时候直接调 ...
- cURL函数库错误码说明之PHP curl_errno函数
背景概述:游戏接口是使用PHP cURL扩展进行请求操作.但是,被请求的服务器经常会无故的不响应或者超时.总之,就是请求之后收不到响应回来的数据.这时候可不能说对方API接口有问题,或者,服务器有故障 ...
- STM32 HAL库与标准库的区别_浅谈句柄、MSP函数、Callback函数
最近笔者开始学习STM32的HAL库,由于以前一直用标准库进行开发,于是发现了HAL库几点好玩的地方,在此分享. 1.句柄在STM32的标准库中,假设我们要初始化一个外设(这里以USART为例)我们首 ...
- 浅谈Kotlin中的函数
本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/UV23Uw_969oVhiOdo4ZKAw作者:连凌能 Kotlin,已经被Android官方 ...
- 浅谈reverse_iterator的base()函数
非原创,原文链接:http://blog.csdn.net/shuchao/article/details/3705252 调用reverse_iterator的base成员函数可以产生"对 ...
- 浅谈独立使用NDK编译库文件(Android)
阅读前准备 这是一篇相对入门的文章.文中会涉及到少许NDK的知识,但个人认为对初学者来说都相对比较实用,因为都是在平时项目中遇到的(目前自己也是初学者).一些其他高深的技术不再本文探讨范围之内(因为我 ...
- 浅谈JavaScript中的函数问题
前面的话:JavaScript可运行在所有主要平台的主流浏览器上,也可运行在每一个主流操作系统的服务器端上.所以呢,要想成为一名优秀的全栈工程师,必须懂得JavaScript语言.这是我整理的JS的部 ...
- 浅谈C/C++回调函数(Callback)& 函数指针
摘要:回调函数就是一个通过函数指针调用的函数.如果你把函数的指针(地址)作为参数传递给另一个函数,当这个指针被用来调用其所指向的函数时,我们就说这是回调函数.回调函数不是由该函数的实现方直接调用,而是 ...
随机推荐
- NFSv4的引用,迁移和备份(用户手册 v0.2)
RFC3530 定义了NFS文件系统迁移和引用的管理机制.文件系统定位功能通过fs_location属性向客户端提供文件系统的位置信息.fs_location属 性是一个包含有位置信息的列表,位置信息 ...
- 将 java 项目打包成可运行的 jar 包(main 函数带参数),并上传到 linux 服务器上运行
一.概述 java项目有两种架构,一种是 B/S 架构的,一种是 C/S 架构的. 对于 B/S 架构来说,我们常见的 java ee 即是 B/S 架构,通常,开发人员会在本地进行开发,然后将项目打 ...
- 【LabVIEW技巧】路径依赖解除方法
前言 LabVIEW程序开发,让我们的程序设计变的简单容易,但是设计过程中也不乏大量的重复性工作,其中最让人头痛的莫过于依赖冲突问题. 事实上,只要你对文件进行了修改或者移动,必不可少的依赖冲突就会产 ...
- 用c#创建支持多语言的WinForm应用程序
实现多语言的方法可能有使用资源文件,或者配置xml两种方法吧.没时间研究过多,学习了一下使用资源文件的方法,成功了. 在.net2.0 中,m$ 为我们提供了一种简单方便的方法, 使用资源文件 1.新 ...
- 实例讲解 SQL 注入攻击
这是一篇讲解SQL注入的实例文章,一步一步跟着作者脚步探索如何注入成功,展现了一次完整的渗透流程,值得一读.翻译水平有限,见谅! 一位客户让我们针对只有他们企业员工和顾客能使用的企业内网进行渗透测试. ...
- Visual 2015创建新项,缺少ADO.NET 实体数据模型的解决方法
现在的某度查资料真的很麻烦,突然我自身的VS2015创建EF的时候找不到 ADO.NET 实体数据模型,但是使用CodeFrist是可以生成数据表的.所有特别郁闷. 打开界面如下 某度半天,都没有查出 ...
- DPC和ISR的理解
首先来说中断 计算机的中断分为软中断和硬中断,即IRQL和DIRQL,共32个级别,从0~31级别依次提升,0~2属于软中断 一般线程运行于PASSIVE_LEVEL级别,如果不想在运行时切换到其他线 ...
- SQList
SQLite顾名思议是以 SQL为基础的数据库软件,SQL是一套强大的数据库语言,主要概念是由「数据库」.「资料表」(table).「查询指令」(queries)等单元组成的「关联性数据库」(进一步的 ...
- LoadingView
// // LoadingView.h // 蓝桥播报 // // Created by 小小建 on 15/7/10. // Copyright (c) 2015年 蓝桥. All righ ...
- 如何知道SQL Server机器上有多少个NUMA节点
如何知道SQL Server机器上有多少个NUMA节点 文章出处: How can you tell how many NUMA nodes your SQL Server has? http://i ...