PHP爬虫之queryList

根据queryList 自己花了一个下午的时间写了一个爬星座数据的类，完全手写。附上代码

 <?php

 require '../vendor/autoload.php';

 use QL\QueryList;

 class phpCrawl

 {

     //在程序执行的时候，就先判断一下是否爬过数据了，因为这个数据是每日才会更新一次。所以判断条件就是，今天是否执行过，如果今天已经执行过程序，那么今天无论之后是否执行程序，都不允许爬取数据了。直接抛出异常【爬取也是重复的，没意义】，只有今天第一次执行程序，才有爬取的意义。然后是否爬取每周，每月，每年的数据在程序里需要另行判断。

     protected static $crawlStatus = false;  //false表示没有爬取， 为了让程序每次执行的时候，状态保持住，需要使用静态变量。 如果今天爬取过了，将状态改为true。

     // 对待爬取的url进行区分，例如：年度的只爬起一次即可，每月的，每周的，url列表进行优化

     public $fortune_name = ['aries', 'taurus', 'gemini', 'cancer', 'leo', 'virgo', 'libra', 'scorpio', 'sagittarius', 'capricorn', 'aquarius', 'pisces'];

     public $baseUrl = 'https://www.xzw.com/fortune/';  //列表url，内容页的url只需要在此基础上进行拼接

     public $rules = [];  //爬虫规则

     public $data = [];

     private static $execTime;  //存储每天程序第一次执行的时间，并保存在session中。当然如果这个时间想要永久保存还是写在文件里比较好，毕竟session有过期时间的，虽然可以设置永久，但是感觉不太好吧，默认session有效期1440秒，24分钟

     public function __construct(array $rules)

     {

         session_start();

         $this->rules = $rules;

         //程序开始初始化的时候，就要判断时间并设置crawlStatus，是否能够爬虫

         $this->checkDate();

     }

     public function run()

     {

         // 如果今天爬过数据了，就终止执行。 走if判断也行，走异常也行，二选一

         // if($this->getCrawlStatus() === true){

         //     return '今天已经爬过数据了，请明天再爬~';

         // }

         try{

             if($this->getCrawlStatus() === true)

                 //试试异常，此处抛出异常，然后在run方法里捕获异常。异常不会终止程序执行，exit，die终止程序执行。

                 throw new Exception("今天已经爬过数据了，请明天再爬~", 1);

         }

         catch(Exception $e){

             echo $e->getMessage();

             exit; //不加exit，程序会继续向下执行的

         }

         $_SESSION['execTime'] = time();   //记录程序每天第一次执行的时间

         //开始爬

         $this->startCrawl($this->linkUrl());

         //处理数据

         $result = $this->handleData();

         return $result;

     }

     //设置爬虫状态

     public function setCrawlStatus($bool)

     {

         self::$crawlStatus = $bool;

     }

     public function getCrawlStatus()

     {

         return self::$crawlStatus;

     }

     /**

      * 爬虫规则，返回一个对象

      * @param rules array 爬虫规则

      * @return object

      */

     public function rule()

     {

         return QueryList::rules($this->rules);

     }

     //开始爬取页面数据

     public function startCrawl($urls)

     {

         foreach ($urls as $url) {

             $this->data[] = $this->rule()

                 ->get($url)  //queryList的方法

                 ->query()

                 ->getData();

             // 释放资源，销毁内存占用

             $this->rule()->destruct();

         }

     }

     //处理数据

     public function handleData()

     {

         $pattern = '/[0-9]{2}/';

         $res = [];

         foreach ($this->data as $key => $value) {

             foreach ($value as $k => $v) {

                 $res[$key][$k]['overall_opportunities'] = $this->extract_num($pattern, $v['overall_opportunities'], 'overall_opportunities', $key, $k);

                 $res[$key][$k]['love_fortune'] = $this->extract_num($pattern, $v['love_fortune'], 'love_fortune', $key, $k);

                 $res[$key][$k]['underprise'] = $this->extract_num($pattern, $v['underprise'], 'underprise', $key, $k);

                 $res[$key][$k]['wealth'] = $this->extract_num($pattern, $v['wealth'], 'wealth', $key, $k);

                 $res[$key][$k]['overall_opportunities_t'] = $v['overall_opportunities_t'];

                 $res[$key][$k]['love_fortune_t'] = $v['love_fortune_t'];

                 $res[$key][$k]['underprise_t'] = $v['underprise_t'];

                 $res[$key][$k]['wealth_t'] = $v['wealth_t'];

             }

         }

         return $res;

     }

     //检测是不是今天已经爬过了

     protected function checkDate()

     {

         self::$execTime = isset($_SESSION['execTime']) ? $_SESSION['execTime'] : 0;

         if(date('Y-m-d', self::$execTime) == date('Y-m-d')){

             //今天执行过了

             $this->setCrawlStatus(true);

         }else{

             $this->setCrawlStatus(false);

         }

     }

     //拼接要爬取的url，根据年月周

     public function linkUrl()

     {

         $urls = [];

         foreach ($this->fortune_name as $value) {

             $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/');

         }

         if(!$this->isSameWeek(self::$execTime, time())){

             //不在同一周

             foreach ($this->fortune_name as $value) {

                 $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/').'/'.'2.html';

             }

         }

         //判断是否在同一月

         if(date('Ym', self::$execTime) != date('Ym', time())){

             //不在同一月

             foreach ($this->fortune_name as $value) {

                 $urls[] = rtrim($this->baseUrl, '/').'/'.trim($value, '/').'/'.'3.html';

             }

         }

         return $urls;

     }

     //判断是否在同一周, 返回true表示同一周，false不在同一周

     public function isSameWeek($pretime,$aftertime)

     {

         $monday = strtotime('last Monday', $pretime); //离当前时间戳$pretime最近的上一个周一的时间戳，如果当前时间$pretime是周一，$monday存储的仍然是上周一

         //判断如果当前给定时间戳就是周一，那么就返回当前时间戳给$monday

         if(date('w', $pretime) == 1){

             $monday = $pretime;

         }

         $sunday = $monday+24*3600*7; //周日时间戳

         if($aftertime >= $sunday){

             return false;

         }

         if( $aftertime <= $monday ){

             return false;

         }

         return true;

     }

     //处理运势指数，把属性值转换成指数

     public function extract_num($pattern, $string)

     {

         preg_match($pattern, $string, $match);

         switch($match[0]){

             case 16:

                 $num = 1;

                 break;

             case 32:

                 $num = 2;

                 break;

             case 48:

                 $num = 3;

                 break;

             case 64:

                 $num = 4;

                 break;

             case 80:

                 $num = 5;

                 break;

         }

         return $num;

     }

 }

 //

 $rule = [

     'overall_opportunities'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(1) > span > em', 'style'),

     'love_fortune'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(2) > span > em', 'style'),

     'underprise'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(3) > span > em', 'style'),

     'wealth'=>array('#view > div.c_main > dl > dd > ul > li:nth-child(4) > span > em', 'style'),

     'overall_opportunities_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(1) > span','text'),

     'love_fortune_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(2) > span','text'),

     'underprise_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(3) > span','text'),

     'wealth_t'=>array('#view > div.c_main > div.c_box > div.c_cont > p:nth-child(4) > span','text'),

 ];

 $ql = new phpCrawl($rule);

 $data = $ql->run();

 print_r($data);

爬到的数据打印如下，存储在数组里了。下一步就可以存在数据库里了。

安装queryList使用composer，queryList v4版本。PHP>=7.0

composer require jaeger/querylist

如果爬取一些js 动态渲染的页面，使用phantomJS来辅助完成。参考链接：https://blog.kieng.cn/1088.html

PHP爬虫之queryList的更多相关文章

PHP简单爬虫基于QueryList采集库和 ezsql数据库操作类
QueryList是一个基于phpQuery的PHP通用列表采集类,得益于phpQuery,让使用QueryList几乎没有任何学习成本,只要会CSS3选择器就可以轻松使用QueryList了,它让P ...
PHP 爬虫——QueryList
前言: 来了个任务说要做个电影网站,要写个壳,数据直接从别人那扒.行吧!那就要学习下PHP爬虫了.占个博客,以后补充.http://study.querylist.cc/archives/6/ 之前开 ...
Thinkphp5与QueryList，也可以实现采集(爬虫)页面功能
QueryList 是什么 QueryList是一套用于内容采集的PHP工具,它使用更加现代化的开发思想,语法简洁.优雅,可扩展性强.相比传统的使用晦涩的正则表达式来做采集,QueryList使用了更 ...
php 爬虫框架
发现两款不错的爬虫框架,极力推荐下: phpspider 一款优秀的PHP开发蜘蛛爬虫官方下载地址:https://github.com/owner888/phpspider 官方开发手册:http ...
php爬虫学习笔记1 PHP Simple HTML DOM Parser
常用爬虫. 0. Snoopy是什么? (下载snoopy) Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务. Snoopy的一些特点: * ...
第一个get请求的爬虫程序
一:urllib库: urllib是Python自带的一个用于爬虫的库,器主要作用就是可以通过代码模拟浏览器发送请求.其被用到子模块在Python3中的urllib.request和urllib.pa ...
python爬虫爬取get请求的页面数据代码样例
废话不多说,上代码 #!/usr/bin/env python # -*- coding:utf-8 -*- # 导包 import urllib.request import urllib.pars ...
QueryList 来做采集
示例代码先来感受一下使用 QueryList 来做采集是什么样子. 1 采集百度搜索结果列表的标题和链接.大理石平台价格采集代码: $data = QueryList::get('https:// ...
PHP网络爬虫实践：抓取百度搜索结果，并分析数据结构
百度的搜索引擎有反爬虫机制,我先直接用guzzle试试水.代码如下: <?php /** * Created by Benjiemin * Date: 2020/3/5 * Time: 14:5 ...

随机推荐

Python 发送微信小程序的模板消息
在小程序的开发过程中,会存在模板消息的发送,具体文档见这里,模板消息的发送是和语言无关的,这里将简要写一下怎么用 Python 给用户发送模板消息. 通过文档可以知道,发送的时候,需要使用小 ...
idea使用maven+Tomcat
1.创建maven项目,并使用webapp骨架,并修改pom.xml文件 <build> <finalName>myWebApp</finalName> <! ...
长乐培训Day3
T1 奶牛晒衣服题目 [题目描述] 在熊大妈英明的带领下,时针和他的同伴生下了许多牛宝宝.熊大妈决定给每个宝宝都穿上可爱的婴儿装.于是,为牛宝宝洗晒衣服就成了很不爽的事情. 圣人王担负起了这个重任. ...
Mysql的多机配置（主从、主主等）
前言: 最近这几天给弄了2台机器,部署centlos7.5,除了公司的一些模块外,给2台机器做了下主主备份. 其实网上资料一大堆,但是感觉按照别人的思路不如自己的舒服,虽然这玩意思路差不多,但是还是在 ...
Angular 学习笔记 (Angular 9 & ivy)
refer : https://blog.angularindepth.com/all-you-need-to-know-about-ivy-the-new-angular-engine-9cde47 ...
怎样理解window对象的几组位置大小属性
第一组: window.screenX 和 window.screenY, 只读, 返回浏览器窗口左上角与屏幕左上角的水平距离和垂直距离(单位像素); 第二组: window.innerHeight ...
IIS发布问题解决
一. HTTP Error 502.5 - ANCM Out-Of-Process Startup Failure ://安装AspNetCoreModule托管模块后执行1. net stop wa ...
关于微信小程序iOS端时间格式兼容问题
经过测试发现,当时间格式为 2018-08-08 08:00 ,需要将时间转为其他格式时,Android端转换成功,iOS端报错或是转为NaN 这是因为iOS端对符号‘ - ’不支持,也就是说iOS端 ...
Fortify漏洞之Access Control: Database（数据越权）
继续对Fortify的漏洞进行总结,本篇主要针对 Access Control: Database(数据越权)的漏洞进行总结,如下: 1.Access Control: Database(数据越权) ...
Linux下安装php 扩展fileinfo
在项目初始部署环境的时候,可能考虑的并不全面,就会少装一些扩展,这里讲解如何添加fileinfo扩展 1.找到php安装的压缩包 2.将压缩包cp到 /data目录下,并解压 cp php-7.0.3 ...

PHP爬虫之queryList

PHP爬虫之queryList的更多相关文章

随机推荐

热门专题