• 01 今日内容概要

  • 02 内容回顾:爬虫

  • 03 内容回顾:网络和并发编程

  • 04 Web微信之获取联系人列表

  • 05 Web微信之发送消息

  • 06 为什么request.POST拿不到数据

  • 07 到底使用json还是data?

  • 08 Web微信之接收消息

  • 09 上述内容总结

  • 10 scrapy安装

  • 11 scrapy基本命令

  • 12 scrapy示例:获取抽屉新闻

  • 13 scrapy创建下载任务

  • 14 今日作业

01 今日内容概要

1.1 Web微信;

  1.1.1 获取联系人列表;

  1.1.2 发送消息;

1.2 爬虫框架之scrapy(用的多,神箭手工具);

  12.1 大而全的Web框架;类比于Django或Flask;

02 内容回顾:爬虫

2.1 第一部分:爬虫

  2.1.1 requests和bs4基础

  2.1.2  web知识

  • 请求和请求
  • 携带常见请求头——User-Agent\referer\host\content-type\cookie
  • csrf_token——两个tab打开的同时,其中一个tab诱导我们对另外一个tab提交数据;

  2.1.3 分析http请求——Chrome浏览器、FireFox浏览器;

  2.1.4 爬虫的套路-汽车之家、抽屉、抽屉登录、github、拉钩、Web微信;

  • XML-数据交换;配置文件;

03 内容回顾:网络和并发编程

3.1 OSI七层模型

3.2 三次握手和四次挥手

3.3 TCP和UDP的区别

3.4 路由器和交换机的区别

3.5 ARP协议

3.6 DNS解析

3.7 HTTP和HTTPS

3.8 进程、线程和携程

3.9 GIL锁

3.10 进程如何进程共享

04 Web微信之获取联系人列表

05 Web微信之发送消息

06 为什么request.POST拿不到数据

07 到底使用json还是data?

08 Web微信之接收消息

09 上述内容总结

9.1 Goal:锻炼分析HTTP请求的能力;

10 scrapy安装

10.1 在爬虫领域,是一个“大而全”的爬虫组件,涵盖了requests、bs4等组件的功能;

10.2 scrapy框架的安装

  • windows——下载Twisted文件;pip3 install pywin32 ; pip3 install wheel
  • Linux|Unix下的安装pip3 install scrapy;

11 scrapy基本命令

11.1 Django创建Django项目

  • 创建项目django-admin startproject HelloDjango
  • cd HelloDjango
  • 创建应用python manage.py startapp app01
  • python manage.py startapp app02
  • 启动项目python manage.py runserver

11.2 Scrapy的基本命令;

  • 创建项目 scrapy startproject HelloScrapy
  • cd HelloScrapy
  • scrapy genspider baidu baidu.com
  • scrapy genspider jd jd.com
  • scrapy crawl baidu

11.3 Scrapy的目录结构;

  • scrapy.cfg#主配置文件;
  • 项目名称HelloSrapy
  • __init__.py
  • items.py#定义爬取的数据结构
  • middlewares.py#定义爬取时候的中间件
  • pipelines.py#定义数据管道
  • settings.py#配置文件;
  • spiders目录#存放spiders的文件夹;
  • __init__.py

12 scrapy示例:获取抽屉新闻

13 scrapy创建下载任务

14 今日作业

14.1 小结;

  • HTML解析:xpath
  • 再次发起请求:yield Request对象;

Python-S9-Day125-Web微信&爬虫框架之scrapy的更多相关文章

  1. 06 爬虫框架:scrapy

    爬虫框架:scrapy   一 介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速.简单.可扩展的方式从网站中提取所需的数据.但目前S ...

  2. 九、爬虫框架之Scrapy

    爬虫框架之Scrapy 一.介绍 二.安装 三.命令行工具 四.项目结构以及爬虫应用简介 五.Spiders 六.Selectors 七.Items 八.Item Pipelin 九. Dowload ...

  3. 洗礼灵魂,修炼python(72)--爬虫篇—爬虫框架:Scrapy

    题外话: 前面学了那么多,相信你已经对python很了解了,对爬虫也很有见解了,然后本来的计划是这样的:(请忽略编号和日期,这个是不定数,我在更博会随时改的) 上面截图的是我的草稿 然后当我开始写博文 ...

  4. 爬虫框架之Scrapy

    一.介绍 二.安装 三.命令行工具 四.项目结构以及爬虫应用简介 五.Spiders 六.Selectors 七.Items 八.Item Pipelin 九. Dowloader Middeware ...

  5. 基于Python + requests 的web接口自动化测试框架

    之前采用JMeter进行接口测试,每次给带新人进行培训比较麻烦,干脆用python实现,将代码和用例分离,易于维护. 项目背景 公司的软件采用B/S架构,进行数据存储.分析.管理 工具选择 pytho ...

  6. 爬虫框架:scrapy

    一 介绍 Scrapy一个开源和协作的框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速.简单.可扩展的方式从网站中提取所需的数据.但目前Scrapy的用途十分广泛,可 ...

  7. 爬虫框架之Scrapy(一)

    scrapy简介 scrapy是一个用python实现为了爬取网站数据,提取结构性数据而编写的应用框架,功能非常的强大. scrapy常应用在包括数据挖掘,信息处理或者储存历史数据的一系列程序中. s ...

  8. 爬虫框架之Scrapy(四 ImagePipeline)

    ImagePipeline 使用scrapy框架我们除了要下载文本,还有可能需要下载图片,scrapy提供了ImagePipeline来进行图片的下载. ImagePipeline还支持以下特别的功能 ...

  9. 爬虫框架之Scrapy(三 CrawlSpider)

    如何爬取一个网站的全站数据? 可以使用Scrapy中基于Spider的递归方式进行爬取(Request模块回调parse方法) 还有一种更高效的方法,就是基于CrawlSpider的自动爬取实现 简介 ...

随机推荐

  1. ajax请求成功后js刷新当前页,当前页是post查询结果(用post请求进行搜索筛选)的问题

    下面的一个ajax操作,原先操作成功会刷新当前页,保证用户看到的数据是最新的,一般情况不会出现问题.$.ajax({ url: url + "/addTeacherAuth", / ...

  2. HTML和CSS中一些有趣的

    CSS Rese http://yui.yahooapis.com/3.18.1/build/cssreset/cssreset-min.css <link rel="styleshe ...

  3. Mybatis-连接池与事务

    Mybatis 的连接池技术 Mybatis 将它自己的数据源分为三类: UNPOOLED 不使用连接池的数据源 POOLED 使用连接池的数据源 JNDI 使用 JNDI 实现的数据源 Mybati ...

  4. STL笔记(に)--vector容器

    Vector 1.可变长的动态数组 2.需包含头文件#include<vector> (当然,如果用了万能头文件#include<bits/stdc++.h>则可忽略) 3.支 ...

  5. pycharm在同目录下import,pycharm会提示错误,但是可以运行

    原因是:    pycharm不会将当前文件目录自动加入自己的sourse_path. 解决方案:右键make_directory as-->sources path将当前工作的文件夹加入sou ...

  6. mysql查询哪个表数据量最大

    use information_schema;select table_name,table_rows from tables where table_schema='cargo_new' order ...

  7. maven引入dubbo包后启动报错

    启动后报错内容为: Caused by: org.springframework.beans.factory.BeanDefinitionStoreException: Unexpected exce ...

  8. 二十、Mysql 连接的使用

    Mysql 连接的使用 在前几章节中,我们已经学会了如何在一张表中读取数据,这是相对简单的,但是在真正的应用中经常需要从多个数据表中读取数据. 本章节我们将向大家介绍如何使用 MySQL 的 JOIN ...

  9. PyCharm 2018.1 软件汉化

    下载汉化包 链接: https://pan.baidu.com/s/1buLFINImW_3cNzP8HsB4cA 密码: fqpu 安装汉化包 找到pycharm安装目录 直接把刚刚下载的汉化包复制 ...

  10. 一个简单的linux下设置定时执行shell脚本的示例

    很多时候我们有希望服务器定时去运行一个脚本来触发一个操作,比如说定时去备份服务器数据.数据库数据等 不适合人工经常做的一些操作这里简单说下 shell Shell俗称壳,类似于DOS下的command ...