【潭州课堂25班：Ph201805201 爬虫高级 第十二 课 Scrapy-redis分布 项目实战 (课堂笔记)】的更多相关文章

潭州课堂25班：Ph201805201 爬虫高级 第十二 课 Scrapy-redis分布 项目实战 (课堂笔记)

建代理池, 1,获取多个网站的免费代理IP, 2,对免费代理进行检测,>>>>>携带IP进行请求, 3,检测到的可用IP进行存储, 4,实现api接口,方便调用, 5,各个组件 的调试, 西剌代理: http://www.xicidaili.com/nn/ 66 IP代理 http://www.66ip.cn/ 快代理 https://www.kuaidaili.com/free/…

潭州课堂25班：Ph201805201 爬虫基础 第十二课 点触验证码二 (课堂笔记）

为上次代码添加 模拟人操作 的鼠标的移动轨迹 # -*- coding:utf-8 -*- # 斌彬电脑 # @Time : 2018/9/14 0014 上午 8:08 from selenium import webdriver from selenium.webdriver.support.wait import WebDriverWait from selenium.webdriver.chrome.options import Options from selenium.webdriv…

潭州课堂25班：Ph201805201 爬虫高级 第十一课 Scrapy-redis分布 项目实战 (课堂笔

…

潭州课堂25班：Ph201805201 爬虫高级 第十课 Scrapy-redis分布 (课堂笔记)

利用 redis 数据库,做 request 队列,去重,多台数据共享, scrapy 调度 基于文件每户,默认只能在单机运行, scrapy-redis 默认把数据放到 redis 中,实现数据共享, 安装: pip install scrapy-redis 命令与 scrapy 没有不同 在该文件下导入 scrapy_redis 在配置文件中添加内容 1(必须). 使用了scrapy_redis的去重组件,在redis数据库里做去重 DUPEFILTER_CLASS = "scrapy_re…

潭州课堂25班：Ph201805201 爬虫基础 第十五课 js破解 二 (课堂笔记）

PyExecJs使用 PyExecJS是Ruby的ExecJS移植到Python的一个执行JS代码的库. 安装 pip install PyExecJS 例子 >>> import execjs >>> execjs.eval("'red yellow blue'.split(' ')") ['red', 'yellow', 'blue'] >>> ctx = execjs.compile(""" ..…

潭州课堂25班：Ph201805201 爬虫基础 第十四课 js破解 (课堂笔记）

打断点 找要的数据 鼠标的点击事件 新浪微博登录 表单提交分析 : 先佃输入错误密码开始调式 f10 往下走, f11 进入函数 sh + f11 跳出函数 # -*- coding: utf-8 -*- # 斌彬电脑 # @Time : 2018/9/20 0020 4:30 # 新浪js分析 import requests import base64 import time import re import json import rsa import binascii class Weib…

潭州课堂25班：Ph201805201 django框架 第十二课 自定义中间件，上下文处理，admin后台 (课堂笔记)

中间件 在项目主目录下的配置文件 在项目主目录下创建文件 写个自定义异常处理 方法1 要让其生效,要在主目录下,的中间件中进行注册 主目录下.该文件名.类名 在进入视图函数之前进行判断,  给 request 添加属性 方法2 同样要在配置文件中进行注册 测试该中间件是否生效,在视图函数中打印下, 上下文处理器 在主目录的配置文件中 在上下文处理器中传进来的,可以不经过视图,直接在前台模板中调用 , 如:在 html 文件中直接调用 request 就呆以在页面上显示: 自定义一个上下文处理器,…

潭州学院-JavaVIP的Javascript的高级进阶-KeKe老师

潭州学院-JavaVIP的Javascript的高级进阶-KeKe老师 讲的不错,可以学习 下面是教程的目录截图: 下载地址:http://www.fu83.cn/thread-283-1-1.html 觉得教程比较好,可以推荐哈!…

潭州课堂25班：Ph201805201 WEB 之 页面编写 第四课 登录注册 (课堂笔记)

index.html 首页 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <link rel="stylesheet" href="css/reset.css"> <!--引入本地--> <link rel…

潭州课堂25班：Ph201805201 WEB 之 页面编写 第三课 (课堂笔记)

index.html <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> <link rel="stylesheet" href="css/reset.css"> <link rel="stylesheet&quo…