不要相信前端是安全的,今天简单验证一下,但是希望大家支持正版,支持原作者,毕竟写书不易. 安装Puppteer npm install --save puppeteer 选择目标网站 我们这里选择胡子大哈大神的网站 http://huziketang.mangojuice.top : 爬取所有文章 基本思想思路 实现方案 爬取书籍目录->根据目录爬取没个章节的内容 注意的地方 本书有付费章节和免费章节,爬取付费章节需要禁用javascript执行,然后移除对应的mask的dom节点 核心代码 c…

因为进程也不是越多越好,我们计划分3个进程执行.意思就是 :把总共要抓取的28页分成三部分. 怎么分呢? # 初始range r = range(1,29) # 步长 step = 10 myList = [r[x:x+step] for x in range(0,len(r),step)] print(myList) # [range(1, 11), range(11, 21), range(21, 29)] 看上面代码,我们就把1~29分成了三部分,list里三个range. 2.还记得我们…

昨天面试,技术官问到了我如何使用BurpSuite抓取https网站的数据包,一时间没能回答上来(尴尬!).因为以前https网站的数据包我都是用Fiddler抓取的,Fiddlert自动帮我们配置好了证书,所以就没用BurpSuite抓取过,今天特意去学习了下如何使用BurpSuite抓取https网站的数据包. 关于HTTPS协议中证书的认证过程,传送门-->HTTPS协议工作原理(SSL数字证书) BurpSuite之所以不能抓取https数据包,是因为BurpSuite作为中间人代理,我…

本次抓取的是智联招聘网站搜索“数据分析师”之后的信息. python版本: python3.5. 我用的主要package是 Beautifulsoup + Requests+csv 另外,我将招聘内容的简单描述也抓取下来了. 文件输出到csv文件后,发现用excel打开时有些乱码,但用文件软件打开(如notepad++)是没有问题的. 为了能用Excel打开时正确显示,我用pandas转换了以下,并添加上列名.转化完后,就可以正确显示了.关于用pandas转化,可以参考我的博客: 由于招聘内容…

Hawk是沙漠之鹰历时五年开发的开源免费网页抓取工具(爬虫),无需编程,全部可视化. 自从上次发布Hawk 2.0过了小半年,可是还是有不少朋友通过邮件或者微信的方式询问如何使用.看文档还是不如视频教学方便,沙漠君决定录播几段视频来帮助大家~ 软件最新的下载地址(或点击原文) https://github.com/ferventdesert/Hawk/releases 下面是视频内容,在腾讯视频可以开启高清,实测清晰度尚可,当然你也可以在百度云盘中下载以下全部视频. http://pan.bai…

上一篇多文章,是二级目录,根目录"小说",二级目录"作品名称",之后就是小说文件. 本篇改造了部分代码,将目录设置为根目录->作者目录->作品目录->作品章节.txt. 但这并不是本章内容当重点,重点是使用这个爬虫程序抓取当时候,经常会因为网络丢包等原因导致程序中断, 本来想着是循环获取网站状态,然后重新发起请求,结果好像也没什么用.然后在虫师讲selenium的书中看到了多线程,正好就实验下,结果发现,速度很快,cool! 以下代码基本摘自虫师的…

Windows 10家庭中文版,Python 3.6.3,Scrapy 1.5.0, 时隔一月,再次玩Scrapy项目,希望这次可以玩的更进一步. 本文展示使用在 Scrapy项目内.项目外scrapy shell命令抓取知乎首页的初步情况,重要的一点是,在项目内抓取时,没有response可用. 在项目[外]执行抓取命令 scrapy shell https://www.zhihu.com 得到结果(部分):因为知乎的反爬虫功能,得到了400错误,访问失败. INFO: Overridden…

一.介绍 本例子用Selenium +phantomjs爬取界面(https://a.jiemian.com/index.php?m=search&a=index&type=news&msg=电视)的资讯信息,输入给定关键字抓取资讯信息. 给定关键字:数字:融合:电视 抓取信息内如下: 1.资讯标题 2.资讯链接 3.资讯时间 4.资讯来源 二.网站信息 三.数据抓取 针对上面的网站信息,来进行抓取 1.首先抓取信息列表 抓取代码:Elements = doc('div[class…

本章学习内容:将网站上的小说都爬下来,存储到本地. 目标网站:www.cuiweijuxs.com 分析页面,发现一共4步:从主页进入分版打开分页列表.打开分页下所有链接.打开作品页面.打开单章内容. 所以实现步骤如下: 1.进入分版页面,www.cuiweijuxs.com/jingpinxiaoshuo/ 找到最大分页数 <a href="http://www.cuiweijuxs.com/jingpinxiaoshuo/5_122.html" class="las…

本次学习重点: 1.使用urllib的request进行网页请求,获取当前url整版网页内容 2.对于多级抓取,先想好抓取思路,再动手 3.BeautifulSoup获取html网页中的指定内容 4.使用多线程,加快抓取速度 本次抓取不涉及反爬虫知识. 本章学习内容: 1.最简单的request请求网页,有注释,不细说了 # -*- coding: UTF-8 -*- from urllib import request #获取request python2可以直接使用urllib2 # 直接请…