初窥Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中. 还是先推荐几个学习的教程:Scrapy 0.25文档  Scrapy快速入门教程 这些教程里面有关于Scrapy的安装,创建项目,爬取实例等等,如果一个全新的东西扔给你首先要看文档,初看文档我也是蒙蒙的,后来一层一层的去摸索才大概懂了个皮毛.我们就试着将之前的爬虫福利改写成用Scrapy框架的爬虫,在实践中学习. 战斗吧 Scrapy! 安装S…

这一篇文章主要是为了对scrapy框架的工作流程以及各个组件功能的介绍 Scrapy目前已经可以很好的在python3上运行Scrapy使用了Twisted作为框架,Twisted有些特殊的地方是它是事件驱动的,并且比较适合异步的代码.对于会阻塞线程的操作包含访问文件.数据库或者Web.产生新的进程并需要处理新进程的输出(如运行shell命令).执行系统层次操作的代码(如等待系统队列),Twisted提供了允许执行上面的操作但不会阻塞代码执行的方法. Scrapy data flow(流程图)…

自学一门语言最重要的是要及时给自己反馈,那么经常写一些小程序培养语感很重要,写完可以总结一下程序中运用到了哪些零散的知识点. 本程序中运用到的知识点有: 1.输入输出函数 (input.print) 2.赋值语句 (=) 3.定义变量 (变量名的命名规范: 见名知意) 4.数据类型转换 (int) 5.导入模块 (import.random.os) 6.模块的方法调用 (.randint . .system) 7."while-else循环"与"if-else条件判断&quo…

此出处:http://blog.csdn.net/fgf00/article/details/52949973 本节内容 ORM介绍 sqlalchemy安装 sqlalchemy基本使用 多外键关联 多对多关系 表结构设计作业  一.ORM介绍 如果写程序用pymysql和程序交互,那是不是要写原生sql语句.如果进行复杂的查询,那sql语句就要进行一点一点拼接,而且不太有重用性,扩展不方便.而且写的sql语句可能不高效,导致程序运行也变慢. 为了避免把sql语句写死在代码里,有没有一种方法直…

我又来送福利啦!!!不同于上篇文章,这次我们的爬虫采用了多线程,一直以来被所谓的分布式  多线程  爬虫 给唬的怕怕的.今天就来一发多线程爬虫吧,还能看妹子图,想想就觉得很激动!!! 依然是流程解释: 1.分析要爬取的网址,发现页面分两级,第一级是多个图片集的入口,第二集是图片的入口.我们新建两个类,一个类是爬取所有图片集的url,一个类是根据得到的图片集的url爬取图片下载下来.第二个类的功能就跟我们上篇爬取煎蛋的功能一样. 2.我们考虑用多线程去实现爬虫,为此我们引入了Queue模块,主线程…

自学一门语言最重要的是要及时给自己反馈,那么经常写一些小程序培养语感很重要,写完可以总结一下程序中运用到了哪些零散的知识点. 本程序中运用到的知识点有: 1.输入输出函数 (input.print) 2.赋值语句 (=) 3.定义变量 (变量名的命名规范: 见名知意) 4.数据类型转换 (int) 5.导入模块 (import.random.os) 6.模块的方法调用 (.randint . .system) 7."while-else循环"与"if-else条件判断&quo…

本节重点: l 键盘按键用法 l 键盘组合键用法 l send_keys() 输入中文运行报错问题 键盘按键键用法: #coding=utf-8 from selenium import webdriver from selenium.webdriver.common.keys import Keys #需要引入keys包 import os,time driver = webdriver.Firefox() driver.get("http://passport.kuaibo.com/logi…

互联网(Internet)是依据操作系统,在计算机硬件的基础上建立起的通讯机制.它依赖于TCP/IP协议栈. 一.ISO/OSI模型 1.ISO七层模型与OSI五层模型 它们将计算机抽象成了具有层级关系的层面.每个层面有相应的数据传输协议,以及数据格式. 2.每个抽象层对应的物理设备 3.物理层 4.数据链路层 5.网络层 6.传输层 7.应用层 8.ARP协议 9.各抽象层的数据封装 二.三次握手 ACK报文是用来确认链接的,SYN报文是用来发起/同步链接的,FIN是用来请求断开的.…

一.导言 二.用字典映射代替switch case语句   # 字典代替 switch 语句 # switch () # { # case 0 : # dayName= 'a'; # break; # case 1 : # dayName= 'b'; # break; # case 2 : # dayName= 'c'; # break; # ... # default : # dayName= 'none'; # break; # } def get_a(): return 'a' def g…

Spider类定义了如何爬去某个网站,包括爬取的动作以及如何从网页内容中提取结构化的数据,总的来说spider就是定义爬取的动作以及分析某个网页 工作流程分析 以初始的URL初始化Request,并设置回调函数,当该request下载完毕并返回时,将生成response,并作为参数传给回调函数. spider中初始的requesst是通过start_requests()来获取的.start_requests()获取 start_urls中的URL,并以parse以回调函数生成Request 在回…

之前我们使用scrapy爬取数据,用的存储方式是直接引入PYMYSQL,或者MYSQLDB,案例中数据量并不大,这种数据存储方式属于同步过程,也就是上一条语句执行完才能执行下一条语句,当数据量变大时,由于SCRAPY解析数据的速率远远大于数据存储入数据库的速度,以至于造成数据阻塞,可以理解为数据高并发的问题. 现在我们可以使用TWISTED里的功能,话不多说先在PIPELINE里引入类对象,来执行异步操作: 引入adbapi对象 第一步:在SETTINGS.py里设置数据库连接配置,做成数据异步…

1. scrapy有三种方法模拟登陆 1.1直接携带cookies 1.2找url地址,发送post请求存储cookie 1.3找到对应的form表单,自动解析input标签,自动解析post请求的url地址,自动带上数据,自动发送请求 2. scrapy携带cookies直接获取需要登陆后的页面 2.1 应用场景 2.1.1cookie过期时间很长,常见于一些不规范的网站 2.1.2能在cookie过期之前把搜有的数据拿到 2.1.3配合其他程序使用,比如其使用selenium把登陆之后的co…

孤荷凌寒自学python第八十六天对selenium模块进行较详细的了解 (今天由于文中所阐述的原因没有进行屏幕录屏,见谅) 为了能够使用selenium模块进行真正的操作,今天主要大范围搜索资料进行对selenium模块的学习,并且借2019年的新年好运居然在今天就来了,还在学习Python的过程中就接到一个任务,完成了第一个真正有实用价值的作品,大大增强了信心,也对Python爬取内容,操纵网页的能力有了真切的体会. 一.首先真诚感谢以下文章作者的无私分享: 查找到html页面标签对象方法的…

孤荷凌寒自学python第八十五天配置selenium并进行模拟浏览器操作1 (完整学习过程屏幕记录视频地址在文末) 要模拟进行浏览器操作,只用requests是不行的,因此今天了解到有专门的解决方案:selenium模块及与火狐浏览器的配合使用. 一.环境配置 (一).安装selenium模块 pip install selenium C:\WINDOWS\system32>pip install selenium Collecting selenium Downloading https:/…

孤荷凌寒自学python第八十天开始写Python的第一个爬虫10 (完整学习过程屏幕记录视频地址在文末) 原计划今天应当可以解决读取所有页的目录并转而取出所有新闻的功能,不过由于学习时间不够,只是进一步优化了自定义函数的写法. 一.优化并新增了几个操作word文档的函数 ``` #!/usr/bin/env python3 # -*- coding: utf-8 -*- import string import time import random from docx.enum.style i…

孤荷凌寒自学python第七十九天开始写Python的第一个爬虫9 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 到今天终于完成了对docx模块针对word文档的段落对象的操作的学习,并通过函数封装,使得可以轻松一点直接向word文档中添加一个或多个段落文本并且设置段落的格式. 一.完成了批量添加word文档段落的函数 ``` def addPToDocx(f,strp,strfont='宋体',fontsize=14,fontcolor=RG…

孤荷凌寒自学python第七十六天开始写Python的第一个爬虫6 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 不过由于对python-docx模块的不熟悉,事实上今天的学习变成了纯粹对docx模块的探索和研究了. 一.对docx模块的学习笔记 (一)docx文档中的样式结构常量 from docx.enum.style import WD_STYLE_TYPE WD_STYLE_TYPE中包含了docx文档需要的所有样式 (包括段落.文字.…

孤荷凌寒自学python第七十五天开始写Python的第一个爬虫5 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像. ``` import requests from bs4 import BeautifulSoup import re import datetime import pymongo import _mty import _mf import _mbs4 import _mmongo import…

孤荷凌寒自学python第七十四天开始写Python的第一个爬虫4 (完整学习过程屏幕记录视频地址在文末) 今天在上一天的基础上继续完成对我的第一个代码程序的书写. 直接上代码.详细过程见文末屏幕录像. ``` import requests from bs4 import BeautifulSoup import re import datetime import pymongo import _mty import _mf import _mbs4 import _mmongo import…

孤荷凌寒自学python第七十天学习并实践beautifulsoup对象用法3 (完整学习过程屏幕记录视频地址在文末) 今天继续学习beautifulsoup对象的属性与方法等内容. 一.今天进一步了解到的BeautifulSoup模块中的一些用法小结: 1. 前天的学习中掌握了在查找html文档树中的指定标识的html标签的同时还可以指定此标签对象的一些特有的属性来缩小查找范围的方法如下: BeautifulSoup对象.find_all('标签tag',attrs={‘属性名’:'属性值'}…

孤荷凌寒自学python第六十六天学习mongoDB的基本操作并进行简单封装5并学习权限设置 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第十二天. 今天继续学习mongoDB的简单操作,并继续对一些可能反复经常使用的操作进行简单的封装.同时通过搜索了解了如何对本地Mongo数据库进行权限设置(没有实践本地数据库的用户权限设置.) 按个人规划,今天是初步了解学习MongoDb数据库的最后一个学习日,后续将在真正使用此数据库时,再对其进行深入研究. 一.今天完成了两个可…

孤荷凌寒自学python第六十五天学习mongoDB的基本操作并进行简单封装4 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第十一天. 今天继续学习mongoDB的简单操作,并继续对一些可能反复经常使用的操作进行简单的封装. 今天成功了解并实测完成了向mongoDB数据库中删除记录的操作,详细学习过程见屏幕录屏学习过程. 一.首先解决了昨天没有解决的修改记录的问题 今天花了一定的时间认真看相关资料,发现在修改记录时: [方法一]: 集合对象.update({查询记录的…

 孤荷凌寒自学python第六十天在windows10上找搭建本地Mongodb数据服务 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第六天.成功在本地搭建了windows10系统下的mongoDB数据库,并且连接和读写其中的数据初步测试也没有问题,让人重新看到了希望. 一.首先整理一下根据网络搜索的教程来安装windows10系统环境下mongoDB本地包的过程. 网络上的安装教程很多,不过很多版本都是针对3.0及以前的版本,看上去安装过程将会非常复杂,光是命令行窗…

孤荷凌寒自学python第五十九天尝试使用python来读访问远端MongoDb数据服务 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第五天.今天的感觉是,mongoDB数据库我似乎根本就很难掌控呵! 一.首先系统学习了读写mongoDB数据库的方法 以下笔记来自官方文档整理: (官方文档:https://api.mongodb.com/python/current/index.html ) (一)指定数据库 MongoDB中还分为一个个数据库,我们接下来的一步就是指…

孤荷凌寒自学python第五十六天通过compass客户端和mongodb shell 命令来连接远端MongoDb数据库 (完整学习过程屏幕记录视频地址在文末) 今天是学习mongoDB数据库的第二天.仍然感觉付出的时间与收获完全不成正比,万事开头的时候,总是那么困难,不过今天历尽困难总算还是成功在本地连接上了远端的mongoDB数据库(就是我注册的官方的试用版本的数据库,就在官方网站服务器上.) 一.首先在官方网站为我注册的账号新建的项目[Clusters0]中添加了一个测试数据库(data…

孤荷凌寒自学python第五十五天第一天初识MongoDb数据库 (完整学习过程屏幕记录视频地址在文末) 大家好,2019年新年快乐! 本来我想的是借新年第一天开始,正式尝试学习爬虫,结果今天偶然发现还有一种被更广泛使用的Nosql数据库,而且还可以在本地建构本地化的数据库服务,这就是大名鼎鼎的:mongoDB 首先访问:https://www.mongodb.com/zh 这是中文界面的官方网站,比起firebase来,这网站加载要快一些. 一.简单总结下今天聊胜于无的一些收获 (一)mong…

孤荷凌寒自学python第五十四天使用python来删除Firebase数据库中的文档 (完整学习过程屏幕记录视频地址在文末) 今天继续研究Firebase数据库,利用google免费提供的这个数据库服务,今天主要尝试使用firebase_admin模块来对firebase数据库进行删除文档操作获得成功. 一.简单总结下今天对firebase_admin模块对象的学习(一)删除一个文档要删除Firebase数据库中的一个集合下的一个文档只需要执行文档对象的delete()方法.具体用法如下:文档…

孤荷凌寒自学python第五十天第一次接触NoSql数据库_Firebase (完整学习过程屏幕记录视频地址在文末) 之前对关系型数据库的学习告一段落,虽然能力所限没有能够完全完成理想中的所有数据库操作的完全傻瓜化封装,但至少是起到了抛砖引玉的作用吧. 为节约宝贵的学习时间,今天就准备直接开始学习NoSql数据库了,根据目前我的了解,这种类型的数据库与关系型数据库不同,存储数据不再是以行和列组成的二维表格为基本格式,而是以数据记录本身为单位,一条记录不存在列类型的限制,转而使用像Json结构一样…

孤荷凌寒自学python第四十九天继续研究跨不同类型数据库的通用数据表操作函数 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 今天继续建构自感觉用起来顺手些的自定义模块和类的代码. 不同类型的关系数据库之间的数据表的结构与数据的互相复制操作相对比较复杂,虽然关系型数据库都通用SQL查询语句,经过过去多年的编程经验与前段时间Python操作数据库的学习,发现由于各家数据库在使用sql语句上的不同处理,事实上要统一为相同的互相可交换结构数据的形式,就是我想学习的 从今天的学习情况来看,已统…

 孤荷凌寒自学python第四十六天开始建构自己用起来更顺手一点的Python模块与类,尝试第一天 (完整学习过程屏幕记录视频地址在文末,手写笔记在文末) 按上一天的规划,这是根据过去我自学其它编程语言的经验,我觉得对Python的肤浅的基础的知识学习完成之后,一定也要开始的构建自己的Python编程大厦的脚手架——开始将一些自己用起来顺手的常用功能封装块化,建立模块和类,形成一种基础沉淀,这样整个自己的Python学习大厦才将越修越好,这是从我过往的编程语言自学中总结出来的,今天经过第一天的尝…