一个php curl封装的类,减少代码量,简化采集工作。这个类也是我工作的最常用的类之一。这里分享给大家。配合上phpquery,十分好用。

<?php
namespace iphp\core;
use iphp\App;
/**
* 封装了的curl http请求类
* @author xuen
*/
class MyCurl
{
public $ch; // 当前链接对象
public $str = ''; // 当前串
public $match; // 正则表达式
/**
* 将curl常量属性转变成一个数组,便于使用
* @var string
*/
public $defaultOpt = array(
CURLOPT_URL => '', // 请求的URL
CURLOPT_RETURNTRANSFER => 1, // 设置有返回信息,以流的形式返回,非不是直接输出
CURLOPT_HTTPGET => 1, // 设定为GET请求。
// 定义默认的回调函数,这样exec()将在成功后返回1
CURLOPT_CONNECTTIMEOUT => 30, // 设置默认链接超时间为30秒
CURLOPT_TIMEOUT=>30,//设置下载时间最多30秒。
// 自动跟踪重定向。
CURLOPT_FOLLOWLOCATION => true,
// 设置客户端支持gzip压缩,默认不开启,用于节省流量。
CURLOPT_ENCODING => 'gzip',
// 设定默认header头
CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 6.1; rv:23.0) Gecko/20100101 Firefox/23.0'
); public $opt; public $cookieFile = false; // 保存的COOKIE文件
/**
* http请求响应的缓存,默认缓存在数组中,最大为512个
* @var array
*/
public $cache = array(); public function __construct ()
{
// 完成CH的初始化
$this->ch = curl_init();
if (! $this->ch)
die('当前环境不支持CURL');
$this->opt=$this->defaultOpt;
}
// 执行HTTP请求,并得到返回数据
// 返回指定匹配的串,如果匹配失败将返回全部文档
public function exec ($opt)
{
//如查参数只是一个串,就认为是一个url
if(!is_array($opt))
{
$url=$opt;
$opt=array();
$opt['url']=$url;
}
// 如果存在缓存,则返回缓存的字符串。
$key = md5($opt['url'] . $opt['post'] . $opt['match']. $opt['return']);
if (($str = $this->getCache($key)) != false)
return $str;
// 每次执行前,清空当前str,每次请求,返回值可能不一样
$this->str = '';
// 参数设置失败和执行行失败都将返回 fasle;
if (! $this->setOptions($opt))
return false;
$flag = curl_exec($this->ch);
$this->setCache($key, $this->str ? $this->str : $flag); //执行完成后,基于长驻内存和考虑,上一次连接的选项可以对下一次靠成影响
$this->opt=$this->defaultOpt; if ($this->str == '') // 表示没有执行回调函数
return $flag;
else
return $this->str;
} /**
* 简单封装的file_get_contents函数
* 只是使用的缓存而已。
*/
public function getContent ($url)
{
$key = md5($url);
if (($str = $this->getCache($key)) != false)
return $str;
$str = file_get_contents($url);
$this->setCache($key, $str);
return $str;
}
// 设置CURL属性
public function setOptions ($opt)
{
foreach ($opt as $key => $value) {
// 以下值为可以设定的值。如果没有,将使用默认值;
switch ($key) {
case 'url': // 设定当前请求的URL
$this->opt[CURLOPT_URL] = $value;
break;
case 'str': // 设定信息返方式,默认为1
$this->opt[CURLOPT_RETURNTRANSFER] = $value;
break; // 默认值也为1
case 'method': // 设定请求方式,默认为POST
if ($value == 'get')
$this->opt[CURLOPT_HTTPGET] = 1; // 设为GET请求
elseif ($value == 'put')
$this->opt[CURLOPT_PUT] = 1; // ftp文件上传
else
$this->opt[CURLOPT_POST] = 1;
break;
case 'post': // 设定POST请求主体,数组形式,如果上传文件,文件名前加@
$this->opt[CURLOPT_POSTFIELDS] = $value;
break;
case 'header': // 设定HEADER请求头;默认不使用,数组形式
$this->opt[CURLOPT_HTTPHEADER] = $value;
break;
case 'referer': // 设定REFERER信息,默认为空
$this->opt[CURLOPT_REFERER] = $value;
break;
case 'auth': // 设定要请求的用户密码[username]:[password]
$this->opt[CURLOPT_USERPWD] = $value;
break;
case 'connect_time': // 发起链接前的等待时间
$this->opt[CURLOPT_CONNECTTIMEOUT] = $value;
break;
case 'load_time'://文件下载最长时间。
$this->opt[CURLOPT_TIMEOUT]=$value;
break;
case 'callback': // 定义回调函数
$this->opt[CURLOPT_WRITEFUNCTION] = $value;
break;
case 'match': // 寻找指定段的正则表达式
$this->opt[CURLOPT_WRITEFUNCTION] = array(
'self',
'callback'
);
$this->match = $value;
case 'proxy':
$this->opt[CURLOPT_PROXY] = $value;
break;
case 'file': // 用FTP上传的文件名柄
$this->opt[CURLOPT_VERBOSE] = 1;
$this->opt[CURLOPT_INFILE] = $value; // 上传句柄
$this->opt[CURLOPT_NOPROGRESS] = false;
$this->opt[CURLOPT_FTP_USE_EPRT] = true;
$this->opt[CURLOPT_FTP_USE_EPSV] = true;
break;
case 'cookie_file': // 设置cookie文件。
$this->cookieFile =APP_PATH . '/runtime/cookie.txt';
// 发送COOKIE
$this->opt[CURLOPT_COOKIEFILE] = $this->cookieFile;
// 设置cookie
$this->opt[CURLOPT_COOKIEJAR] = $this->cookieFile;
break;
case 'cookie'://设置访问cookie为一个字符串
$this->opt[CURLOPT_COOKIE]=$value;
break;
case 'return': // 设定返回的类型
if ($value == 'head') // 表示只得到header头
{
$this->opt[CURLOPT_NOBODY] = 1;
$this->opt[CURLOPT_HEADER] = 1;
}
elseif ($value == 'body') {}// 默认值,只返回body体
elseif ($value == 'all')
$this->opt[CURLOPT_HEADER] = 1;
break;
case 'location'://是不是跟踪重定向
$this->opt[CURLOPT_FOLLOWLOCATION]=$value;
break;
case 'client_type'://设定客户端类型
$this->setClientType($value);
break;
case 'client_ip'://设定客户端IP地址,只是在header头,不是真实伪造
$this->opt[CURLOPT_HTTPHEADER][]='X-FORWARDED-FOR: '.$value;
$this->opt[CURLOPT_HTTPHEADER][]='CLIENT-IP: '.$value;
break;
}
}
// 设定当前链接选项,选项设置失败返回false;
return curl_setopt_array($this->ch, $this->opt);
}
// 回调函数,返回指定正则表达式的HTML段
public function callback ($ch, $str)
{
$this->str .= $str;
preg_match($this->match, $this->str, $match);
if (! empty($match))
{
// 存在一个子模式,则返回这个子模式
if (isset($match[1]))
$this->str = $match[1];
else
$this->str = $match[0];
return false; // 中断请求
}
return strlen($str);
} /**
* 得到当前请求的错误信息
* @param int $type
* 0表示得到错误编码,1表示得到错误信息,2表示得到所有信息
* @return mixed
*/
public function getError ($type = 11)
{
switch ($type) {
case 0:
$info = curl_errno($this->ch);
break;
case 1:
$info = curl_error($this->ch);
break;
default:
$info = curl_getinfo($this->ch);
}
return $info;
} /**
* 清除缓存。
*/
public function __destruct ()
{
curl_close($this->ch);
$this->cache = array();
} /**
* 设置缓存,以减少http请求数量。
* 大量采集中,你应改使用重写此方法。
* 默认将使用内存缓存
* 如果缓存数组超过512个,清空数组缓存。
* @param string $key
* @param string $str
* @return string boolean
*/
public function setCache ($key, $str)
{
if(count($this->cache)>512)
$this->cache=array();
$this->cache[$key] = $str; //如果引入的phpquery对象
if(class_exists('\\phpQuery') && count(\phpQuery::$documents)>512)
\phpQuery::$documents=array();
} /**
* 得到缓存数据
*
* @param string $key
* @return string boolean
*/
public function getCache ($key)
{
if ($this->cache[$key])
return $this->cache[$key];
else
return false;
}
/**
* 调用远程http接口,返回一个数组
* 当前只支持get请求
* @param string $url
* @param array $query get方式查询参数
* 其中两个参数为自定义参数
* _method:为请求的类型
* _type:为返回的数据类型,支持xml,json.
* 这两个参数不做查询字符串
* @param array $type 返回的格式类型
*/
public function getArray($url,$query=array())
{
$method=($query['_method']=='post')?'post':'get';
$type = ($query['_type']=='xml')?'xml':'json';
if($query['_method'])
unset($query['_method']);
if($query['_type'])
unset($query['_type']);
if($method=='get')
{
if($query)
$nowUrl=$url.'?'.http_build_query($query);
else
$nowUrl=$url;
$str=$this->exec(array(
'url'=>$nowUrl,
'method'=>'get',
));
}
else
$str=$this->exec(array(
'url'=>$url,
'method'=>'post',
'post'=>$query
));
if(!$str)
return false;
$arr=$this->toArray($str,$type);
if(!$arr || !is_array($arr))
return false;
return $arr;
}
/**
* 将一个{}格式的javasrcipt对象转变成一个php数组
* 以避免过多的使用正则表达式。
* 目前支持一维数组;
* 如果js对像里面还有一个对象。可能会有问题。
* 通常情况下,你应该在页面中只匹配一个JS对象。
* @param string $str
* @return array|bool
*/
public function jsArray($str)
{
$return=array();
$str=str_replace(array(
'"',
"'",
'{',
'}'
), '', $str);
$arr=explode(',', $str);
foreach($arr as $row)
{
$tmpArr=explode(':', $row);
$return[trim($tmpArr[0])]=trim($tmpArr[1]);
}
return $return;
}
/**
* 使用phpquery来进行html页面采集
* @param unknown $str 字符串
* @param string $query 选择器表达式
* @return \phpQuery
*/
public function getDom($str,$query='')
{
require_once APP_PATH.'/iphp/extension/phpQuery/phpQuery.php';
$domObject=\phpQuery::newDocument($str);
if($query=='')
return $domObject;
return pq($query);
} /**
* 将字符串转变成一个数组;
* @param string $str 字符串
* @param string $type 类型。
* @return array|bool
*/
public function toArray($str,$type="json")
{
if($type=='xml')
{
$doc=simplexml_load_string($str);
$xml=App::getApp()->getXml();
return $xml->getTreeArray($doc);
}
elseif($type=='json')
return json_decode($str,true);
elseif($type=='query')
{
$parse=parse_url($str);
parse_str($parse['query'],$params);
return $params;
}
elseif($type=='pathinfo')
{ }
} /**
* 根据type类型默认浏览器客户端
* @param type $type
* iphone 表示iphone客户端,
* pc 表示电脑客户客户端,
* android 表示安卓客户端 
*/
public function setClientType($type)
{
$userAgent=array(
'pc'=>'Mozilla/5.0 (Windows NT 6.1; rv:23.0) Gecko/20100101 Firefox/23.0',
'iphone'=>'Mozilla/5.0 (iPad; U; CPU OS 3_2_2 like Mac OS X; en-us) AppleWebKit/531.21.10 (KHTML, like Gecko) Version/4.0.4 Mobile/7B500 Safari/531.21.10',
'android'=>'Mozilla/5.0 (Linux; U; Android 2.2; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1'
);
if(array_key_exists($type,$userAgent))
$this->opt[CURLOPT_USERAGENT]=$userAgent[$type];
} //关闭当前资源连接
public function close()
{
curl_close($this->ch);
}
}

使用示例:

<?php

namespace iphp\collect\live;

use iphp\common\MyFunctions;

/**
* 基于http://m.iqilu.com/的直播地址解析
* 只有流畅一个清晰度。
*
* @author 123
*
*/
class Iqilu extends LiveBase {
// 入品地址,可以得到频道列表
public $listUrl = 'http://v.iqilu.com/live/sdtv/';
public $sourceName = 'iqilu';
public function getList() {
$lists = array (
0 => array (
'sdtv',
'98/0',
'山东卫视'
),
1 => array (
'qlpd',
'98/1',
'齐鲁频道'
),
2 => array (
'ggpd',
'98/2',
'公共频道'
),
3 => array (
'typd',
'98/3',
'体育频道'
),
4 => array (
'shpd',
'99/2',
'生活频道'
),
5 => array (
'zypd',
'100/0',
'综艺频道'
),
6 => array (
'nkpd',
'99/0',
'农科频道'
),
7 => array (
'yspd',
'99/3',
'影视频道'
),
8 => array (
'sepd',
'99/1',
'少儿频道'
),
9 => array (
'gjpd',
'100/1',
'国际频道'
)/*,
10 => array (
'dspd',
'107/6',
'读书频道'
) */
);
foreach ( $lists as $item ) { $vid = $item [0] . ',' . $item [1] . ',' . $item [2];
$channel_name = $item [2];
$link = $this->getAll ( $vid ); $this->info [] = array (
'channel_name' => $channel_name,
'channel_link' => $link
);
}
return $this->info;
}
public function one($vid, $format) {
$arr2 = explode ( ',', $vid );
if ($format != 1) {
return false;
} $url = "http://huodong.iqilu.com/active/video/clientnew/public_s/?c="; $str = $this->curl->exec ( array (
'url' => $url . $arr2 [0],
'header' => array (
'Host: huodong.iqilu.com',
//'User-Agent: Android',
//"Referer: http://v.iqilu.com/live/{$arr2[0]}/",
'User-Agent: Mozilla/5.0 (Linux; U; Android 4.4.2; zh-CN; Coolpad 8675 Build/KOT49H) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 UCBrowser/9.9.7.500 U3/0.8.0 Mobile Safari/534.30',
),
'referer' => "http://m.iqilu.com/vms/live/{$arr2[0]}/",
'client_type' => "android" ) );
$arr = explode('|', $str);
$vid = "http://m3u8.iqilu.com/live/$arr2[1].m3u8?st=".$arr[16].$arr[17]."&e=".$arr[19].$arr[20];//&e={$arr[17]}; return $vid;
}
}

php curl封装类的更多相关文章

  1. php的curl封装类

    之前一直做爬虫相关的,每次自己去写一系列curl_setopt()函数太繁琐,我于是封装了如下curl请求类. <?php /** * @author freephp * @date 2015- ...

  2. curl 封装类

    <?php /** * author: zbseoag * QQ: 617937424 用法: $content = Curl::instance()->url($url)->get ...

  3. VS2015静态编译libcurl(C++ curl封装类)

    一.最新libcurl静态编译教程(curl-7.51版/curl-7.52版) 1.安装perl,在官网下载,安装好以后,测试perl -v是否成功 2.编译openssl(已编译好的下载地址) p ...

  4. 《CURL技术知识教程》系列分享专栏

    <CURL技术知识教程>已整理成PDF文档,点击可直接下载至本地查阅https://www.webfalse.com/read/201737.html 文章 PHP采集相关教程之一 CUR ...

  5. CURL PHP模拟浏览器get和post

    模拟浏览器get和post数据需要经常用到的类, 在这里收藏了几个不错的方法 方法一 <?php define ( 'IS_PROXY', true ); //是否启用代理 /* cookie文 ...

  6. PHP 优秀资源汇集(照搬)

    文章目录 原文地址: https://shockerli.net/post/php-awesome/ GitHub: https://github.com/shockerli/php-awesome ...

  7. [php]微信测试号调取acces_token,自定义菜单以及被动响应消息

    <?php /**自己写的 */ $wechatObj = new wechatCallbackapiTest(); $wechatObj->valid(); $wechatObj-> ...

  8. 跨域、curl、snoopy、file_get_contents()

    定义:可以称为”信息采集/模拟登录”技术,可以实现对某个地址做请求,同时按照要求传递get或post参数. curl本身是php的一个扩展,同时也是一个利用URL语法规定来传输文件和数据的工具,支持很 ...

  9. curl 一个使用例子

    #include <iostream> #define Main main #include <string> #include <assert.h> #inclu ...

随机推荐

  1. .NET进阶系列之一:C#正则表达式整理备忘

    有一段时间,正则表达式学习很火热很潮流,当时在CSDN一天就能看到 好几个正则表达式的帖子,那段时间借助论坛以及Wrox Press出版的<C#字符串和正则表达式参考手册>学习了一些基础的 ...

  2. Java Calendar获取年、月、日、时间

    Java Calendar获取年.月.日.时间 Calendar c = Calendar.getInstance(TimeZone.getTimeZone("GMT+08:00" ...

  3. FreeImage裁剪示例

    //截图 int cropImage(const char* file, int left, int top, int right, int bottom, BYTE* &dstData, D ...

  4. 一个完整的SSL连接建立过程

    客户端浏览器连接到Web服务器,发出建立安全连接通道的请求. 服务器接受客户端请求,发送服务器证书做为响应. 客户端验证服务器证书的有效性,如果验证通过,则用服务器证书中包含的服务器公钥加密一个会话密 ...

  5. js禁止中文输入 最简洁的【禁止输入中文】

    方法一:禁止中文输入法 <input type="text"  > 方法二:禁止黏贴,禁止拖拽,禁止中文输入法! 这种方法是最强的禁止 中文输入 <input t ...

  6. Java GC机制和对象Finalize方法的一点总结

    GC是垃圾收集的意思(Garbage Collection),内存处理是编程人员容易出现问题的地方,忘记或者错误的内存回收会导致程序或系统的不稳定甚至崩溃,Java提供的GC功能可以自动监测对象是否超 ...

  7. windows下qtcreator添加ICE库文件

    由qtcreator手动添加外部库,会自动生成: win32:CONFIG(release, debug|release): LIBS += -L$$PWD/C:/ZeroC/Ice-/lib/vc1 ...

  8. Firebug Command Line

    http://michaelsync.net/2007/09/15/firebug-tutorial-commandline-api

  9. SharedPreference对象及其xml文件

    SharedPreferences对象----->getXXX SharedPreferences.Editor对象---->putXXX

  10. delphi代码实现创建dump文件

    I used a "watchdog" thread for this, which checks if the mainform is responding, and make ...