PHP 结合前端 ajax 爬取网站信息后, 向指定用户发送指定短信;
<?php
/**
* Description
* @authors Your Name (you@example.org)
* # 根据时时彩的最新一期的号码, 判断如果为首尾同号则发送短信
* - phpQuery 分析网页, 获得网页数据, 获得html数据
* - curl_init 模拟真实浏览器访问, 配合 PHPquery
* - 根据手机号, 结合前端 get与post 请求发送短信通知
* - 使用的 php 的正则, 替换字符串
* - 使用 sleep 与 while 反复执行代码
* - 反复执行代码的同时, 还可以在浏览器输出
* # 只有刷新 wamp 才能终止进程`
* # 实际在云服务中会报错: FastCGI 进程超过了配置的活动超时时限的解决方法
* - 无解
* - 所以只能在本机使用wamp开启
* @date 2018-07-26 17:13:39
* @version 1.0.0
*/
header("Content-Type: text/html;charset=utf-8");
require('phpQuery/phpQuery.php');
// $eg1=phpQuery::newDocumentFile("http://www.whu.edu.cn/tzgg.htm");
// $eg2=phpQuery::newDocumentFile("https://www.baidu.com/");
// $eg3=phpQuery::newDocumentFile("http://caipiao.163.com/award/cqssc/");
// echo pq("title",$eg1->getDocumentID())->html()."<br>";//$eg1与$eg1->getDocumentID()效果等同
// echo pq("title")->html()."<br>";//就近匹配 $eg2
// phpQuery::selectDocument($eg1); //默认会使用选定的文档
// $mes=pq("ul")->html();//获取所有的ul标签中的html内容
// $mes=pq("ul,li")->html();//获取所有的ul以及li标签中的html内容
// $t=pq("ul[class='article']")->html();//获取ul class="article"的html内容
/***
* 根据 手机号, 第几期, 当期号码 发送短信通知
*/
function fnSendMessageNotifications($mobile, $lotteryNumber1, $lotteryNumber2)
{
echo '<br>****[' . $mobile . ']****<br>' ;
echo '<br>****[' . $lotteryNumber1 . ']****<br>' ;
echo '<br>****[' . $lotteryNumber2 . ']****<br>' ;
$host = "http://cowsms.market.alicloudapi.com";
$path = "/intf/smsapi";
$method = "GET";
$appcode = "你的appcode";
$headers = array();
array_push($headers, "Authorization:APPCODE " . $appcode);
$querys = "mobile=" . $mobile . "&paras=" . $lotteryNumber1 . "%2C" . $lotteryNumber2 . "&sign=%E6%B6%88%E6%81%AF%E9%80%9A&tpid=155";
echo '<br>****[' . $querys . ']****<br>' ;
$bodys = "";
$url = $host . $path . "?" . $querys;
$curl = curl_init();
curl_setopt($curl, CURLOPT_CUSTOMREQUEST, $method);
curl_setopt($curl, CURLOPT_URL, $url);
curl_setopt($curl, CURLOPT_HTTPHEADER, $headers);
curl_setopt($curl, CURLOPT_FAILONERROR, false);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);
curl_setopt($curl, CURLOPT_HEADER, true);
if (1 == strpos("$".$host, "https://"))
{
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, false);
}
var_dump(curl_exec($curl));
}
/**
* 添加 USERAGENT , 模拟真实浏览器访问
* */
function get_fcontent($url, $timeout = 5 ) {
$url = str_replace( "&amp;", "&", urldecode(trim($url)) );
$cookie = tempnam ("/tmp", "CURLCOOKIE");
$ch = curl_init();
curl_setopt( $ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 5.1; rv:1.7.3) Gecko/20041001 Firefox/0.10.1" );
curl_setopt( $ch, CURLOPT_URL, $url);//需要获取的URL地址,也可以在 curl_init()函数中设置。
curl_setopt( $ch, CURLOPT_COOKIEJAR, $cookie );//连接结束后保存cookie信息的文件。
curl_setopt( $ch, CURLOPT_FOLLOWLOCATION, true );//启用时会将服务器服务器返回的"Location: "放在header中递归的返回给服务器,使用CURLOPT_MAXREDIRS可以限定递归返回的数量。
curl_setopt( $ch, CURLOPT_ENCODING, "" );//HTTP请求头中"Accept-Encoding: "的值。支持的编码有"identity","deflate"和"gzip"。如果为空字符串"",请求头会发送所有支持的编码类型。在cURL 7.10中被加入。
curl_setopt( $ch, CURLOPT_RETURNTRANSFER, true );//将 curl_exec()获取的信息以文件流的形式返回,而不是直接输出。
curl_setopt( $ch, CURLOPT_AUTOREFERER, true );//当根据Location:重定向时,自动设置header中的Referer:信息。
//禁用后cURL将终止从服务端进行验证。使用CURLOPT_CAINFO选项设置证书使用CURLOPT_CAPATH选项设置证书目录 如果CURLOPT_SSL_VERIFYPEER(默认值为2)被启用,CURLOPT_SSL_VERIFYHOST需要被设置成TRUE否则设置为FALSE。自cURL 7.10开始默认为TRUE。从cURL 7.10开始默认绑定安装。
curl_setopt( $ch, CURLOPT_SSL_VERIFYPEER, false ); // # required for https urls, 在发起连接前等待的时间,如果设置为0,则无限等待。
curl_setopt( $ch, CURLOPT_CONNECTTIMEOUT, $timeout );
curl_setopt( $ch, CURLOPT_TIMEOUT, $timeout ); // 设置cURL允许执行的最长秒数。
curl_setopt( $ch, CURLOPT_MAXREDIRS, 10 ); //指定最多的HTTP重定向的数量,这个选项是和CURLOPT_FOLLOWLOCATION一起使用的。
$content = curl_exec( $ch );
curl_close ( $ch );
return $content;
}
// set_time_limit(0); // Maximum execution time , 设置成0的话,就是永不过期。
$lastQi = ''; // foreach保存的最后一个 期号
$lastNumber = ''; // foreach保存的最后一个 号码
$nTheLastTraversalPeriod = ''; // 缓存上一个foreach的首尾相同的期号, 用以比对是否为最新一期, 也用来当做最后一个符合条件的期号
$nTheLastTraversalNumber = '';
$sessionStorage_cacheQi = ''; // 缓存上一个发送了短信的期号
/**
* 获得最新一期期号, 获得最新一期号码
* */
function fnGetTheLatestPhase(){
//详细每个curlopt意思.转http://www.jb51.net/article/39331.htm
global $lastQi;
global $lastNumber;
global $nTheLastTraversalPeriod;
global $nTheLastTraversalNumber;
global $sessionStorage_cacheQi;
$url = 'http://caipiao.163.com/award/cqssc/';
$content = get_fcontent($url);
phpQuery::newDocumentHTML($content);
// $main = pq('title')->html();
// $table = pq('.award-winNum')->html();
$table_tr = pq('tr');
$nCurrentTerm = '';
foreach( pq(".award-winNum") as $table_tr ) {
$nCurrentTerm = pq($table_tr) -> prev()-> html(); // 当前的期号
$nCurrentNumber = pq($table_tr) -> html();// 当前号码
if($nCurrentNumber[0] === $nCurrentNumber[strlen($nCurrentNumber)-1] && intval($nTheLastTraversalPeriod)<intval($nCurrentTerm)){ // 假设当前号码的首尾相同, 且上一个遍历的首尾相同的期号小于当前期号(是foreach最后一个遍历的最大的期号)
$nTheLastTraversalPeriod = $nCurrentTerm;
$nTheLastTraversalNumber = $nCurrentNumber;
echo '<br>****[' . $nTheLastTraversalPeriod . ']****<br>' ;
}
if($nCurrentTerm === '001' && !is_numeric(preg_replace('/ /', '', $nCurrentNumber))){
// 假设重新开始, 每天新一期, 旧的还在缓存, 如何办?
// 假设当前的期号为001, 表示的时时彩从头开始, 此时需要:
// - 删除缓存的上一个发送短信的期号
// - 删除缓存的上一个首尾相同的期号
$nTheLastTraversalPeriod = '';
$sessionStorage_cacheQi = '';
}
// // echo pq($table_tr);
// $text = pq($table_tr) -> html();// 号码
// $_lastQi = pq($table_tr) -> prev()-> html(); // 当前元素的上一个元素
// echo '<br>****[' . $nTheLastTraversalPeriod . ']****<br>' ;
// if($text[0] === $text[strlen($text)-1] && intval($sessionStorage_cacheQi||'')<intval($_lastQi) && intval($nTheLastTraversalPeriod)<intval($_lastQi) ){
// if($text[0] === $text[strlen($text)-1] && intval($nTheLastTraversalPeriod)<intval($_lastQi) ){
echo '<br>';
}
echo '<hr>';
if($nTheLastTraversalPeriod !== $sessionStorage_cacheQi){
// 假设没有值得发送的期号, 假设当前发送的期号与之前发送的期号不同(不能相同), 则不执行相关代码(发送短信)
$sessionStorage_cacheQi = $nTheLastTraversalPeriod;
$object = (object) [
'nPeriodNumber' => $nTheLastTraversalPeriod,
'nNumber' => preg_replace('/ /', '', $nTheLastTraversalNumber),
];
return $object;
}else{
$object = (object) [
'nPeriodNumber' => '',
'nNumber' => '',
];
return $object;
}
}
// var_dump(fnGetTheLatestPhase());
// $options = fnGetTheLatestPhase();
// fnSendMessageNotifications('185********', $options->nPeriodNumber, $options->nNumber);
while (1) {
$options = fnGetTheLatestPhase();
// 两者必须同时使用来刷新输出缓冲
ob_flush(); //将数据从php的buffer中释放出来
flush(); //将释放出来的数据发送给浏览器, 要是没有 flush 和 ob_flush , 浏览器就会陷入一种假卡死的状态
var_dump($options);
if($options->nPeriodNumber){
fnSendMessageNotifications('185****', $options->nPeriodNumber, $options->nNumber);
}
sleep(5);
}
原文地址:https://segmentfault.com/a/1190000015798666
PHP 结合前端 ajax 爬取网站信息后, 向指定用户发送指定短信;的更多相关文章
- 使用ajax爬取网站图片()
以下内容转载自:https://www.makcyun.top/web_scraping_withpython4.html 文章关于网站使用Ajaxj技术加载页面数据,进行爬取讲的很详细 大致步骤如下 ...
- 使用HtmlAgilityPack爬取网站信息并存储到mysql
前言:打算做一个药材价格查询的功能,但刚开始一点数据都没有靠自己找信息录入的话很麻烦的,所以只有先到其它网站抓取存到数据库再开始做这个了. HtmlAgilityPack在c#里应该很多人用吧,简单又 ...
- java爬取网站信息和url实例
https://blog.csdn.net/weixin_38409425/article/details/78616688(出自此為博主) 具體代碼如下: import java.io.Buffer ...
- python爬取网站页面时,部分标签无指定属性而报错
在写爬取页面a标签下href属性的时候,有这样一个问题,如果a标签下没有href这个属性则会报错,如下: 百度了有师傅用正则匹配的,方法感觉都不怎么好,查了BeautifulSoup的官方文档,发现一 ...
- [python] 常用正则表达式爬取网页信息及分析HTML标签总结【转】
[python] 常用正则表达式爬取网页信息及分析HTML标签总结 转http://blog.csdn.net/Eastmount/article/details/51082253 标签: pytho ...
- 使用scrapy爬取网站的商品数据
目标是爬取网站http://www.muyingzhijia.com/上全部的商品数据信息,包括商品的一级类别,二级类别,商品title,品牌,价格. 搜索了一下,python的scrapy是一个不错 ...
- Python 利用 BeautifulSoup 爬取网站获取新闻流
0. 引言 介绍下 Python 用 Beautiful Soup 周期性爬取 xxx 网站获取新闻流: 图 1 项目介绍 1. 开发环境 Python: 3.6.3 BeautifulSoup: ...
- Python爬取招聘信息,并且存储到MySQL数据库中
前面一篇文章主要讲述,如何通过Python爬取招聘信息,且爬取的日期为前一天的,同时将爬取的内容保存到数据库中:这篇文章主要讲述如何将python文件压缩成exe可执行文件,供后面的操作. 这系列文章 ...
- python 实现爬取网站下所有URL
python3 实现爬取网站下所有URL 获取首页元素信息: 首页的URL链接获取: 遍历第一次返回的结果: 递归循环遍历: 全部代码如下: 小结: python3.6 requests && ...
随机推荐
- Cocos2d-x 3.2编译生成Android程序出错Error running command, return code: 2的解决方法
用Cocos2d-x 3.2正式版创建项目,结果使用cocos compile -p android编译生成APK程序,结果悲剧了,出现以下错误. Android NDK: Invalid APP_S ...
- 洛谷P3690 LCT模板
题目:https://www.luogu.org/problemnew/show/P3690 自己竟然从没有钻研过LCT上的连通性问题! 于是被最后一个点卡了,似乎因为 find 函数只能找出连通性而 ...
- bat 截取字符串(for命令) 推荐收藏
摘自:http://www.jb51.net/article/50354.htm 今天需要用批处理命令处理文件夹中的文件,需要用到bat中的for命令以及字符串截取的一些命令.在上面的链接中找到许多有 ...
- gerrit+gitlab整合调试
- EasyUI Calendar 日历
转自:http://www.jeasyui.net/plugins/175.html 通过 $.fn.calendar.defaults 重写默认的 defaults. 日历(calendar)显示允 ...
- js几种escape()解码与unescape()编码
js几种escape()解码与unescape()编码 www.111cn.net 编辑:kepeer 来源:转载 一篇js几种escape()解码与unescape()编码函数,同时我们也和它和服务 ...
- CodeForces 515C Drazil and Factorial (水题)
题意:给出含有 n 个只有阿拉伯数字的字符串a,设定函数F(a) = 每个数字的阶乘乘积 .需要找出 x,使得F(x) = F(a),且组成 x 的数字中没有0和1.求最大的 x 为多少. 析:最大, ...
- E20170606-gg
complete adj. 完整的; 完成的; (用以强调) 完全的; 达到结尾的; vt. 完成,使完满; 完成或结束; 填写(表格); process n. 过程; 工序; 做事方法; 工艺 ...
- bzoj 1702: [Usaco2007 Mar]Gold Balanced Lineup 平衡的队列【hash】
我%&&--&()&%????? 双模hashWA,unsigned long longAC,而且必须判断hash出来的数不能为0???? 我可能学了假的hash 这个 ...
- [Swift通天遁地]一、超级工具-(7)创建一个图文并茂的笔记本程序
★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★★➤微信公众号:山青咏芝(shanqingyongzhi)➤博客园地址:山青咏芝(https://www.cnblogs. ...