1. function curl_multi($urls) {
  2. if (!is_array($urls) or count($urls) == 0) {
  3. return false;
  4. }
  5. $num=count($urls);
  6. $curl = $curl2 = $text = array();
  7. $handle = curl_multi_init();
  8. function createCh($url) {
  9. $ch = curl_init();
  10. curl_setopt ($ch, CURLOPT_URL, $url);
  11. curl_setopt ($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; Trident/7.0; rv:11.0) like Gecko');//设置头部
  12. curl_setopt ($ch, CURLOPT_REFERER, $url); //设置来源
  13. curl_setopt ($ch, CURLOPT_ENCODING, "gzip"); // 编码压缩
  14. curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1);
  15. curl_setopt ($ch, CURLOPT_FOLLOWLOCATION, 1);//是否采集301、302之后的页面
  16. curl_setopt ($ch, CURLOPT_MAXREDIRS, 5);//查找次数,防止查找太深
  17. curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE); // 对认证证书来源的检查
  18. curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, FALSE); // 从证书中检查SSL加密算法是否存在
  19. curl_setopt ($ch, CURLOPT_TIMEOUT, 20);
  20. curl_setopt ($ch, CURLOPT_HEADER, 0);//输出头部
  21. return $ch;
  22. }
  23. foreach($urls as $k=>$v){
  24. $url=$urls[$k];
  25. $curl[$k] = createCh($url);
  26. curl_multi_add_handle ($handle,$curl[$k]);
  27. }
  28. $active = null;
  29. do {
  30. $mrc = curl_multi_exec($handle, $active);
  31. } while ($mrc == CURLM_CALL_MULTI_PERFORM);
  32. while ($active && $mrc == CURLM_OK) {
  33. if (curl_multi_select($handle) != -1) {
  34. usleep(100);
  35. }
  36. do {
  37. $mrc = curl_multi_exec($handle, $active);
  38. } while ($mrc == CURLM_CALL_MULTI_PERFORM);
  39. }
  40. foreach ($curl as $k => $v) {
  41. if (curl_error($curl[$k]) == "") {
  42. $text[$k] = (string) curl_multi_getcontent($curl[$k]);
  43. }
  44. curl_multi_remove_handle($handle, $curl[$k]);
  45. curl_close($curl[$k]);
  46. }
  47. curl_multi_close($handle);
  48. return $text;
  49. }
  50. $urls=array('http://www.baidu.com',
  51. 'http://www.baidu.com',
  52. 'http://www.baidu.com',
  53. 'http://www.baidu.com',
  54. 'http://www.baidu.com',
  55. 'http://www.baidu.com',
  56. 'http://www.baidu.com',
  57. 'http://www.baidu.com'
  58. );
  59. $res=curl_multi($urls);
  60. print_r($res);

PHP 多线程采集的更多相关文章

  1. Python多线程采集百度相关搜索关键词

    百度相关搜索关键词抓取,读取txt关键词,导出txt关键词 #百度相关搜索关键词抓取,读取txt关键词,导出txt关键词   # -*- coding=utf-8 -*- import request ...

  2. python3 多线程 采集 xpath

    #!/usr/bin/python # -*- coding: UTF-8 -*- '''Thread3 多线程测试采集''' import threading,time,queue,Mongo_ut ...

  3. python多线程采集

    import requests import json import threading Default_Header = { #具体请求头自己去弄 } _session=requests.sessi ...

  4. PHP使用CURL_MULTI实现多线程采集

    $connomains = array( "http://www.baidu.com/", "http://www.hao123.com/", "ht ...

  5. python多线程采集图片

    cmd中运行 >python untitled2.py    图片的网站 import requests import threading from bs4 import BeautifulSo ...

  6. PHP cURL应用实现模拟登录与采集使用方法详解

    对于做过数据采集的人来说,cURL一定不会陌生.虽然在PHP中有file_get_contents函数可以获取远程链接的数据,但是它的可控制性太差了,对于各种复杂情况的采集情景,file_get_co ...

  7. 多线程实际运用<第七篇>

    1.单线程采集100个页面 class Program { static int i = 6991275; static void Main(string[] args) { Stopwatch sw ...

  8. PHP cURL实现模拟登录与采集使用方法详解教程

    来源:http://www.zjmainstay.cn/php-curl 本文将通过案例,整合浏览器工具与PHP程序,教你如何让数据 唾手可得 . 对于做过数据采集的人来说,cURL一定不会陌生.虽然 ...

  9. 转载 多线程实际运用<第七篇>

    多线程实际运用<第七篇> 1.单线程采集100个页面 class Program { static int i = 6991275; static void Main(string[] a ...

随机推荐

  1. Oracle数据库及图形化界面安装教程详解

    百度云盘oracle数据库及图形化界面安装包 链接: https://pan.baidu.com/s/1DHfui-D2n1R6_ND3wDziQw 密码: f934 首先在电脑D盘(或者其他不是C盘 ...

  2. [network]交换机中用户权限

    LEVEL 0(访问级):可以执行用于网络诊断等功能的命令.包括ping.tracert.telnet等命令,执行该级别命令的结果不能被保存到配置文件中. LEVEL 1(监控级):可以执行用于系统维 ...

  3. 高可用Kubernetes集群-10. 部署kube-proxy

    十二.部署kube-proxy 1. 创建kube-proxy证书 1)创建kube-proxy证书签名请求 # kube-proxy提取CN作为客户端的用户名,即system:kube-proxy. ...

  4. .NET 4.0 Tuple 元组

    Tuple是.NET 4.0的新特性,主要功能是动态返回数据结构,也可以用做临时数据结构. 原来做一些功能时需要一个方法返回几个值,有两种方法: 1. 非常难看.难用的OUT参数: 2. 新写一个实体 ...

  5. SAP(ABAP) ABAP内部外部数据转换常用function

    文本相关CONVERSION_EXIT_CUNIT_OUTPUT      将内部单位转为单位文本CONVERSION_EXIT_ISOLA_OUTPUT      根据语言代码取文本CONVERSI ...

  6. 六周psp

    本周psp 本周进度条 代码累积折线图 博文字数累积折线图 饼状图

  7. 冲刺ing-4

    第四次Scrum冲刺 队员完成的任务 队员 完成任务 吴伟华 Leangoo的看板截图,燃尽图 蔺皓雯 编写博客,学习后端设计 蔡晨旸 学习后端设计 曾茜 后端设计 鲁婧楠 服务器建构 杨池宇 学习后 ...

  8. Android数据储存之SQLiteDatabase 简单增删改查

    SQLiteDatabase 使用 SQLiteDatabase提供如下方法来打开一个文件对应的数据库: openDatabase(String path, SQLiteDatabase.Cursor ...

  9. 软工实践Beta冲刺答辩

    福大软工 · 第十二次作业 - Beta答辩总结 组长本次博客作业链接 项目宣传视频链接 本组成员 1 . 队长:白晨曦 031602101 2 . 队员:蔡子阳 031602102 3 . 队员:陈 ...

  10. Educational Codeforces Round 16 E. Generate a String dp

    题目链接: http://codeforces.com/problemset/problem/710/E E. Generate a String time limit per test 2 seco ...