PHP 中的 cURL 爬虫实战基础
最近准备入手 PHP 爬虫,发现 PHP 的 cURL 这一知识点不可越过。本文探讨基础实战,需要提前了解命令行的使用并会进行 PHP 的环境搭建。
cURL 的概念
cURL,Client URL Library Functions,是利用 URL 语法在命令行方式下工作的开源文件传输工具,被广泛应用在 Unix、 Linux 发行版本中,并且有 Win32、Win64 下的移植版本。常用的 cURL 库 libcurl 支持 http、https、ftp、gopher、telnet、dict、file 和 ldap 协议。libcurl 同时也支持 HTTPS 认证、HTTP POST、HTTP PUT、 FTP 上传(这个也能通过PHP的FTP扩展完成)、HTTP 基于表单的上传、代理、cookies 和用户名+密码的认证。
简而言之,cURL 便是客户端发起的,支持绝大多数互联网协议族的,能对网络文件进行下载或上传的管理程式。
命令行下的 cURL 能做什么
爬取网页源代码
打开命令行,输入如下命令,可以向百度服务器发送获取首页源代码的请求,>
命令将源代码输出保存到当前目录的 baidu.html 下。
curl https://www.baidu.com > baidu.html
获取表单 · GET 或 POST 方法
网页中的 <form> 标签常用来生成一个表单。当我们点击表单中的提交按钮时,浏览器会讲所有表单中填入的参数分析并包装,最终用指定的 HTTP 方式发送到目标网络地址。
如下所示代码将用户在输入框填写的参数信息 加入 URL 地址之后,并向目标服务器下的 judge.php 发送 GET 方法。GET 方法中,值和表单内各个字段一一对应。
<form method="GET" action="judge.php">
<input type=text name="year">
<input type=submit name=press value="OK">
</form>
GET 方法中的参数会出现在 URL 地址中,因此,我们同样在基于命令行 cURL 下模拟这一点。
curl www.example.com/judge.php?year=1997&press=ok
URL 语法指明,一个通用的 URL 地址格式如下,不难看出,上例代码中的 year 字段及其取值是 <params> 的实例。
<scheme>://<user>:<password>@<host>:<port>/<path>:<params>?<query>#<frag>
与 GET 方法不同的是,HTTP 中的 POST 求求向服务器传送数据,由于常有账号密码等私密信息,这些数据通常加入 HTML Header,而在 URL 地址中不可见,并向目标服务器传送数据。
命令行中 cURL 对 POST 方法的处理方法为 -d
参数。
curl -d "year=1997&press=OK" www.example.com/judge.php
上传文件 · POST 或 PUT 方法
1995年年末,RFC 1867 定义了一种新的POST方法,用来上传文件。主要用于把本地文件上传到服务器。此时页面是这样写的:
<form method="POST" enctype='multipart/form-data' action="upload.php">
<input type=file name=upload>
<input type=submit name=press value="OK">
</form>
对应的 cURL 命令中用 -F
作为命令参数如下。
curl -F upload=@localfilename -F press=OK URL
HTTP协议文件上传的标准方法是使用 PUT,此时 cURL 命令使用 -T
参数:
curl -T uploadfile www.uploadhttp. com/receive.php
伪装成指定的客户端
有些网络资源首先需要判断用户使用的是什么浏览器,符合标准了才能够下载或者浏览。此时curl可以把自己“伪装”成任何其他浏览器:
curl -A "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)" URL
这个指令表示 cURL 伪装成了 IE5.0,用户平台是 Windows 2000。
curl -A "Mozilla/4.73 [en] (X11; U; Linux 2.2.15 i686)" URL
此时 cURL 变成了 Netscape,运行在 PIII 平台的 Linux 上了。
以及更多
正如 cURL 的概念一节所说,cURL 的功能除了请求网页、上传文件和伪装,还包括携带 cookie 访问目标服务器(参数 -b)、访问加密的 HTTP 页面(HTTPS)、用本地证书访问需要证书认证的 HTTP 地址(参数 -E)、授权、断点续传、设置代理与网络限速等等,所有网络上的资源都可以用 cURL 访问和下载到。
在 PHP 中使用 cURL
PHP 支持的由 Daniel Stenberg 创建的 libcurl 库允许我们与各种的服务器使用各种类型的协议进行连接和通讯。
为了使用 cURL 函数你需要安装 cURL 包。PHP 需要我们使用 cURL 7.0.2-beta 或更高版。如果 cURL 的版本低于 7.0.2-beta,PHP 将不工作。
要使用 PHP 的 CURL 支持,我们必须用带有 --with-curl[=DIR]
参数重新编译 PHP ( DIR 是包含库和头文件的目录)。
在之前讲到的命令行下 cURL 的实现,我们不难理解 PHP 中 cURL 函数:首先使用 curl_init()
函数初始化 cURL 会话,而后可以设置有关此次 cURL 过程的所有选项,通过 curl_exec()
函数执行,最后我们可以用 curl_close()
函数来结束当前会话,节省资源。以下是慕课网上有关 PHP 中 cURL 过程的图解。
安装 cURL
Mac 下自带的 PHP 环境对 cURL 提供了良好的支持。如果不是 Macintosh,或许这些能有所帮助:
通用 Linux 下的 cURL 安装
获得安装包,从网上直接下载或者其他途径,这里直接 wget
# wget http://curl.haxx.se/download/curl-7.17.1.tar.gz
解压到当前目录并进入
# tar -zxf curl-7.17.1.tar.gz & cd curl-7.17.1
配置,指定安装的目录,这里是 “/usr/local/curl”
# ./configure –prefix=/usr/local/curl
编译并安装
# make & make install
安装完毕,将 curl 命令加入环境变量中。
# export PATH=$PATH:/usr/local/curl/bin
Ubuntu 小的 cURL 安装
Ubuntu 自带的 apt-get 包管理器可以帮我们解决一切依赖。
sudo apt-get install curl libcurl3 libcurl3-dev php5-curl
然后重启服务器,这里是 apache 服务器。
sudo /etc/init.d/apache2 restart
Windows 下的拓展
在 Windows 下安装好 PHP 后,将PHP文件夹下的三个文件php_curl.dll , libeay32.dll , ssleay32.dll 复制到system32下,再将php.ini (c:WINDOWS 目录下) 中的 ;extension=php_curl.dll
中的分号去掉后,重启服务器即可。
开始实战
这里从简单到较为复杂的小 Demo ,循序渐进。
用 cURL 做一个简单的网页爬虫
将如下 PHP 代码保存为 example1.php,并在命令行中执行。
<?php
$curl = curl_init("https://www.baidu.com");
curl_exec($curl);
curl_close($curl);
?>
php -f example1.php > baidu1.html
open baidu1.html
用 cURL 抓去网页信息并替换部分内容
将如下 PHP 代码保存为 example2.php,并在命令行中执行。
<?php
$curlobj = curl_init();
curl_setopt($curlobj, CURLOPT_URL, "http://www.baidu.com");
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, true); // 只是下载页面内容,不直接
打印
$output = curl_exec($curlobj);
echo str_replace("百度", "谷歌", $output); // 将“百度”替换为"谷歌"
?>
php -f example2.php > baidu2.html
open baidu2.html
用 cURL 获取天气信息
将如下 PHP 代码保存为 example2.php,并在命令行中执行。
<?php
$data = "theCityName=西安";
$curlobj = curl_init();
curl_setopt($curlobj, CURLOPT_URL, "http://www.webxml.com.cn/WebServices/WeatherWebService.asmx/getWeatherbyCityName");
curl_setopt($curlobj, CURLOPT_HEADER, 0); // 不显示 Header
curl_setopt($curlobj, CURLOPT_RETURNTRANSFER, 1); // 只是下载页面内容,不直接打印
curl_setopt($curlobj, CURLOPT_POST, 1); // 此请求为 post 请求
curl_setopt($curlobj, CURLOPT_POSTFIELDS, $data); // 传递 post 参数
curl_setopt($curlobj, CURLOPT_HTTPHEADER, array(
"application/x-www-form-urlencoded;charset=utf-8",
"Content-length: ".strlen($data)
)); // 设置 HTTP Header
curl_setopt($curlobj, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.152 Safari/537.36'); // 伪造一个 HTTP_USER_AGENT 信息,解决为将对象引用设置到对象的实例问题
$rtn = curl_exec($curlobj); if(!curl_errno($curlobj)) {
// $info = curl_getinfo($curlobj);
// print_r($info);
echo $rtn;
} else {
echo 'Curl error: ' . curl_error($curlobj);
}
?>
php -f example2.php > weather.html
open weather.html
本文介绍了 cURL 的基础知识和 PHP 中 cURL 的基础实战,对于更高阶的用法,尽请期待。
PHP 中的 cURL 爬虫实战基础的更多相关文章
- python网络爬虫实战PDF高清完整版免费下载|百度云盘|Python基础教程免费电子书
点击获取提取码:vg1y python网络爬虫实战帮助读者学习Python并开发出符合自己要求的网络爬虫.网络爬虫,又被称为网页蜘蛛,网络机器人,是一种按照一定的规则,自动地抓取互联网信息的程序或者脚 ...
- Java基础-爬虫实战之爬去校花网网站内容
Java基础-爬虫实战之爬去校花网网站内容 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 爬虫这个实现点我压根就没有把它当做重点,也没打算做网络爬虫工程师,说起爬虫我更喜欢用Pyt ...
- 第三百三十六节,web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础
第三百三十六节,web爬虫讲解2—urllib库中使用xpath表达式—BeautifulSoup基础 在urllib中,我们一样可以使用xpath表达式进行信息提取,此时,你需要首先安装lxml模块 ...
- 自己动手,丰衣足食!Python3网络爬虫实战案例
本教程是崔大大的爬虫实战教程的笔记:网易云课堂 Python3+Pip环境配置 Windows下安装Python: http://www.cnblogs.com/0bug/p/8228378.html ...
- Python爬虫实战八之利用Selenium抓取淘宝匿名旺旺
更新 其实本文的初衷是为了获取淘宝的非匿名旺旺,在淘宝详情页的最下方有相关评论,含有非匿名旺旺号,快一年了淘宝都没有修复这个. 可就在今天,淘宝把所有的账号设置成了匿名显示,SO,获取非匿名旺旺号已经 ...
- Python爬虫实战六之抓取爱问知识人问题并保存至数据库
大家好,本次为大家带来的是抓取爱问知识人的问题并将问题和答案保存到数据库的方法,涉及的内容包括: Urllib的用法及异常处理 Beautiful Soup的简单应用 MySQLdb的基础用法 正则表 ...
- Python爬虫实战二之爬取百度贴吧帖子
大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 前言 亲爱的们,教程比较旧了,百度贴吧页面可能改版,可能代码不 ...
- Python爬虫实战一之爬取糗事百科段子
大家好,前面入门已经说了那么多基础知识了,下面我们做几个实战项目来挑战一下吧.那么这次为大家带来,Python爬取糗事百科的小段子的例子. 首先,糗事百科大家都听说过吧?糗友们发的搞笑的段子一抓一大把 ...
- 转 Python爬虫实战二之爬取百度贴吧帖子
静觅 » Python爬虫实战二之爬取百度贴吧帖子 大家好,上次我们实验了爬取了糗事百科的段子,那么这次我们来尝试一下爬取百度贴吧的帖子.与上一篇不同的是,这次我们需要用到文件的相关操作. 本篇目标 ...
随机推荐
- 简单的CRUD(一)
一.JDBC的概述--(来源于百度) JDBC(Java DataBase Connectivity,java数据库连接)是一种用于执行SQL语句的Java API,可以为多种关系数据库提供统一访问, ...
- java爬虫之入门基础
相比于C#,java爬虫,python爬虫更为方便简要,首先呢,python的urllib2包提供了较为完整的访问网页文档的API,再者呢对于摘下来的文章,python的beautifulsoap提供 ...
- poj 3260 最少硬币(01+多重+完全背包)
http://www.cnblogs.com/ACMan/archive/2012/08/14/2637437.html #include <iostream> #include < ...
- vim命令“=”、“d”、“y”的用法(结合光标移动命令,一些场合会非常方便)
vim有许多命令,网上搜有一堆贴子.文章列举出各种功能的命令. 对于“=”.“d”.“y”,我在无意中发现了它们所具有的相同的一些用法,先举以下三个例子: =nG dnG ynG 其中,n为行号.注意 ...
- Linux基础之-正则表达式(grep,sed,awk)
一. 正则表达式 正则表达式,又称规则表达式.(英语:Regular Expression,在代码中常简写为regex.regexp或RE),计算机科学的一个概念.正则表达式是对字符串操作的一种逻辑公 ...
- MySQL创建子视图并查看的时候,字符集报错问题
进入命令行模式, 如果MySQL数据库已经安装好,可以使用下列SQL命令查看MySQL当前的字符集设置: mysql> show variables like 'character_set_%' ...
- Android weex的集成和开发
最近为了项目需要(实际上是为了年底KPI),领导要求用3天时间,学习并使用weex开发一个页面,说实话,压力山大.在这之前压根儿就没听说过啊,一脸懵逼 无奈之余只能Google了,惊喜的发现weex的 ...
- Scrum过程管理学习心得
认识敏捷开发 在课堂上了解了瀑布开发,又在课下学习敏捷开发过程后,我发现,敏姐团队做的开发工作虽然和瀑布开发一模一样,但他们的做事方式很不一样.简单来说,两者的差别在于:瀑布开发必须先完成当前的步骤后 ...
- Java—IO流 字节流
IO流(输入流.输出流),又分为字节流.字符流. 流是磁盘或其它外围设备中存储的数据的源点或终点. 输入流:程序从输入流读取数据源.数据源包括外界(键盘.文件.网络…),即是将数据源读入到程序的通信通 ...
- 续Html5
HTML5 规定了一种通过 video 元素来包含视频的标准方法 当前video元素支持的三种视频格式 首先呢,显示视频所需要的是 <video src="movie.ogg" ...