HTTP和HTTPS HTTP(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收HTML页面的方法 HTTPS(HyperText Transfer Protocol over Secure Socket Layer)简单讲是HTTP的安全版,在HTTP下加入SSL层. SSL(Secure Socket Layer安全套接层)主要用于web的安全传输协议,在传输层对网络连接进行加密,保障在Internet上数据传输的安全. HTTP的端口号为80 HT…

目录 1. HTTP和HTTPS 1.1. HTTP的请求和响应流程:打开一个网页的过程 1.2. URL 2. 客户端HTTP请求 3. Fiddler抓包工具的使用 3.1. 工作原理 3.2. Fiddler抓取HTTPS设置 3.3. Fiddler抓取Chorme的对话 3.4. Fidder界面介绍 3.5. 实例:捕捉访问百度时候的请求和响应 4. 其他内容 4.1 Cookie和Session 1. HTTP和HTTPS HTTP: 一种发布和接受HTML页面方法,端口号为80…

python爬虫之分析Ajax请求抓取抓取今日头条街拍美图 一.分析网站 1.进入浏览器,搜索今日头条,在搜索栏搜索街拍,然后选择图集这一栏. 2.按F12打开开发者工具,刷新网页,这时网页回弹到综合这一栏,点击图集,在开发者工具中查看 XHR这个选项卡. 3.具体分析url,请求参数 当我们在请求图集这个页面时,url如下: 请求参数如下: 我们可以看到这个url的构成: 前面:https://www.toutiao.com/search_content/? 后面:offset=0&forma…

常见的反爬手段和解决思路 1)明确反反爬的主要思路 反反爬的主要思路就是尽可能的去模拟浏览器,浏览器在如何操作,代码中就如何去实现;浏览器先请求了地址url1,保留了cookie在本地,之后请求地址url2, 带上了之前的cookie,代码中也可以这样去实现.很多时候,爬虫中携带的headers字段,cookie字段,url参数,post的参数很多,不清楚哪些有用,哪些没用的情况下, 只能够去尝试,因为每个网站都是不相同的;当然在盲目尝试之前,可以参考别人的思路,我们自己也应该有一套尝试的流程.…

requests是基于urllib3的一个用于发起http请求的库(中文文档)数据采集流程: 指定url>> 基于 requests模块发起请求>> 获取响应中的数据>> 数据解析>> 进行持久化存储 1.模块安装 pip install requests 2.requests之request请求 2.1请求方式 常用的就是requests.get()和requests.post() #各种请求方式:常用的就是requests.get()和requests.…

python爬虫也学了一段时间了.也爬过不少网站,最后我想用12306抢票器这个项目做一个对之前的学习的效果成见也是一个目标(开始学爬虫的时候,看到说,会爬12306,就会爬80%的网站),本人纯自学.可以弯路走了不少,爬的网站也没有什么实质的价值(不是老师的作业,也不是老板的需求,就是自己的练习),所以嘛,不是有句话说的,人活着,就是为了搞事情. 12306,真的是特别厉害的反爬,请求太难分析了.一些隐藏的参数,被转码的参数.不过分析成功后,你真的会感觉别的网站也就那么回事. --------…

欢迎访问我的个人网站:www.comingnext.cn 前言 在上一篇文章,已经实现了访问指定URL就返回了指定的数据,这也体现了RESTful API的一个理念,每一个URL代表着一个资源.当然我们还知道RESTful API的另一个特性就是,发送不同的请求动作,会返还不同的响应,这篇文章就讲一下django-rest-framework这个工具在这方面给我们带来的便捷操作. Request对象 平时我们在写Django的视图函数的时候,都会带上一个request参数,这样就能处理平时搭建网…

HTTP请求与响应 HTTP请求 HTTP请求是指从客户端到服务器端的请求消息.HTTP请求主要由三部分构成,请求行.请求头(headers).body(请求数据). 上图是笔者用Charles抓包工具抓的一个浏览器请求,当然用谷歌浏览器F12也是可以的.通过抓包工具我们可以看到当我们向服务器请求时,发送了很多数据给服务器,但主要还是三部分:状态行.请求头(headers).body(数据). HTTP响应 当我们向服务器发送一个HTTP请求时,服务器一般都会给出响应.HTTP响应主要由三部分构…

requests模块 Requests模块 get方法请求 整体演示一下: import requests response = requests.get("https://www.baidu.com") print(type(response)) print(response.status_code) print(type(response.text)) print(response.text) print(response.cookies) print(response.conte…

废话不多说,上代码 #!/usr/bin/env python # -*- coding:utf-8 -*- # 导包 import urllib.request import urllib.parse # 如下两行代码表示忽略https证书,如果请求不是https则该两行代码可不用. import ssl ssl._create_default_https_context = ssl._create_unverified_context if __name__ == "__main__&quo…

本章将介绍使用Selenium和PhantomJS两种工具用来加载动态数据,更多内容请参考:Python学习指南 Selenium Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,最初是为网站自动化测试而开发的,类型像我们玩游戏用的按键精灵,可以按指定的命令自动化操作,不同是Selenium可以直接运行在浏览器上,它支持所有主流的浏览器(包括PhantomJS这些无界面的浏览器). Selenium可以根据我们的指令,让浏览器自动加载页面,获取需要的页面,甚至页面截…

本案例介绍从JavaScript中采集加载的数据.更多内容请参考:Python学习指南 #-*- coding:utf-8 -*- import requests import re import time import json #数据下载器 class HtmlDownloader(object): def download(self, url, params=None): if url is None: return None user_agent = 'Mozilla/5.0 (Wind…

Python中cookielib库(python3中为http.cookiejar)为存储和管理cookie提供客户端支持. 该模块主要功能是提供可存储cookie的对象.使用此模块捕获cookie并在后续连接请求时重新发送,还可以用来处理包含cookie数据的文件. 这个模块主要提供了这几个对象,CookieJar,FileCookieJar,MozillaCookieJar,LWPCookieJar. 1. CookieJar CookieJar对象存储在内存中. >>> impor…

cookiejar模块: 管理储存cookie,将传出的http请求添加cookie cookie存储在内存中,CookieJar示例回收后cookie将自动消失 实例:用cookjar访问人人网主页 import json from urllib import request,parse from http import cookiejar #实例化一个cookiejar对象 cookiejar_object = cookiejar.CookieJar() #生成cookie管理器 cooki…

队列-deque 有了上面一节的基础.当然你须要全然掌握上一节的全部方法,由于上一节的方法.在以下的教程中 会重复的用到. 假设你没有记住,请你返回上一节. http://blog.csdn.net/passer_zzy/article/details/47156109 这一节我们要了解一种队列--deque. 在以下的爬虫基础中,我们也要重复的使用deque,来完毕网址 的出队入队. 有了对deque主要的认识,我们開始进一步的学习了解他. colloections.deque([iterab…

任何时候调用requests.*()你都在做两件主要的事情.其一,你在构建一个 Request 对象, 该对象将被发送到某个服务器请求或查询一些资源.其二,一旦 requests 得到一个从 服务器返回的响应就会产生一个 Response 对象. 该响应对象包含服务器返回的所有信息, 也包含你原来创建的 Request 对象. 如下是一个简单的请求,从Wikipedia的服务器得到 一些非常重要的信息: r = requests.get('http://en.wikipedia.org/wiki…

本章叫介绍如何使用selenium在浏览器中使用js脚本,更多内容请参考:Python学习指南 隐藏百度图片 #-*- coding:utf-8 -*- #本篇将模拟执行javascript语句 from selenium import webdriver from selenium.webdriver.common.keys import Keys driver = webdriver.Chrome() driver.get('https://www.baidu.com/') #给搜索输入框标…

本篇主要介绍使用selenium模拟点击下一页,更多内容请参考:Python学习指南 #-*- coding:utf-8 -*- import unittest from selenium import webdriver from selenium.webdriver.common.keys import Keys from bs4 import BeautifulSoup import time class douyuSelenium(unittest.TestCase): #初始化方法 d…

本篇博客主要用于介绍如何使用selenium+phantomJS模拟登陆豆瓣,没有考虑验证码的问题,更多内容,请参考:Python学习指南 #-*- coding:utf-8 -*- from selenium import webdriver from selenium.webdriver.common.keys import Keys import time #如果获取页面时获取不到文本内容,加入下面参数 driver = webdriver.PhantomJS(service_args=[…

1.抓取索引页内容 利用requests请求目标站点,得到索引网页HTML代码,返回结果. 2.抓取详情页内容 解析返回结果,得到详情页的链接,并进一步抓取详情页的信息. 3.下载图片与保存数据库 将图片下载到本地,并把页面信息及图片URL保存到MongDB. 4.开启循环及多线程 对多页内容遍历,开启多线程提高抓取速度. 1.抓取索引页 from urllib.parse import urlencode from requests.exceptions import RequestExcep…

出租房面积(area) 出租房价格(price) 对比信息 代码 import matplotlib as mpl import matplotlib.pyplot as plt import pandas as pad import seaborn as sns import numpy as np sns.set_style('dark') kf = pad.read_csv('kf.csv') def sinplotone(): fig,ax = plt.subplots() ax.vio…

前文参考:  https://www.cnblogs.com/LexMoon/p/douban1.html Matplotlib绘制决策树代码: # coding=utf-8 import matplotlib.pyplot as plt decisionNode = dict(boxstyle=') leafNode = dict(boxstyle='round4',fc='0.8') arrow_args = dict(arrowstyle='<-') def plotNode(nodeTx…

爬取电影吧一个帖子里的所有楼主发言: # python2 # -*- coding: utf-8 -*- import urllib2 import string import re class Baidu_Spider: feature_pattern = re.compile(r'id="post_content.*?>\s+(.*?)</div>', re.S) replaceList = [(''', '\''), ('"', '\"')] def…

一.HTTP.HTTPS介绍 HTTP协议(超文本传输协议):一种发布.接收HTML页面的方法 HTTPS协议:简单讲是HTTP安全版,在HTTP下加入SSL层 SSL(安全套接层),用于WEB的安全传输协议,在传输层对网络连接进行加密,保障在Internet上数据传输的安全 端口: HTTP端口号为80 HTTPS端口号为443 HTTP工作原理 网络爬虫抓取过程可以理解为模拟浏览器操作的过程. 浏览器的主要功能是向服务器发出请求,在浏览器窗口中展示您选择的网络资源,HTTP是一套计算机通过网…

前文参考: Python爬虫(一)——豆瓣下图书信息 Python爬虫(二)——豆瓣图书决策树构建 Python爬虫(三)——对豆瓣图书各模块评论数与评分图形化分析 数据的构建 在这张表中我们可以发现这里有5个数据,这里有三个特征(评分是否超过8.0,评分是否超过9.5,评价数是否超过45,000)来划分这5本书是否选择阅读. 现在我们要做的就是是要根据第一个特征,第二个特征还是第三个特征来划分数据,进行分类. def createDataSet(): dataSet = [[1,1,1,'ye…

前文参考: Python爬虫(一)——开封市58同城租房信息 Python爬虫(二)——对开封市58同城出租房数据进行分析 Python爬虫(三)——对豆瓣图书各模块评论数与评分图形化分析 数据的构建 在这张表中我们可以发现这里有5个数据,这里有两个特征(房租是否少于2000,房屋面积是否大于50)来划分这5个出租房是否租借. 现在我们要做的就是是要根据第一个特征,第二个特征还是第三个特征来划分数据,进行分类. def createDataSet(): dataSet = [[1, 1, 'ye…

Python爬虫(1):基本原理 Python爬虫(2):Requests的基本用法 Python爬虫(3):Requests的高级用法 Python爬虫(4):Beautiful Soup的常用方法 Python爬虫(5):豆瓣读书练手爬虫 Python爬虫(6):煎蛋网全站妹子图爬虫 Python爬虫(7):多进程抓取拉钩网十万数据 Python爬虫(8):分析Ajax请求爬取果壳网 Python爬虫(9):Cookie介绍和模拟登录 Python爬虫(10):Selenium+Phanto…

scrapy的运行流程 爬虫 -> 起始URL封装Request -> 爬虫中间件 -> 引擎 -> 调度器(Scheduler): 缓存请求, 请求去重 调度器 -> 请求 -> 引擎 -> 经过下载器中间件 -> 下载器(发送请求, 获取响应数据, 封装Response) 下载器 - Response(响应) -> 经过下载器中间件 -> 引擎 引擎 - response -> 经过爬虫中间件 -> 爬虫 (解析数据, 提取URL…

一.requests的常用请求方式 #各种请求方式:常用的就是requests.get()和requests.post() >>> import requests >>> r = requests.get('https://api.github.com/events') >>> r = requests.post('http://httpbin.org/post', data = {'key':'value'}) >>> r = re…

python爬虫之urllib库(二) urllib库 超时设置 网页长时间无法响应的,系统会判断网页超时,无法打开网页.对于爬虫而言,我们作为网页的访问者,不能一直等着服务器给我们返回错误信息,耗费时间太久.因此,我们在爬取网页的时候可以设置超时异常的值. import urllib.request file=urllib.request.urlopen("http://yum.iqianyue.com",timeout=30) #timeout=30,表示30秒以后产生超时异常 d…