基础知识 class scrapy.spiders.CrawlSpider 这是抓取一般网页最常用的类,除了从Spider继承过来的属性外,其提供了一个新的属性rules,它提供了一种简单的机制,能够为将要爬取的链接定义一组提取规则.   rules 这是一个Rule对象列表,每条规则定义了爬取网站链接的行为,如果一条链接命中多条规则,以第一条规则进行匹配,顺序由属性中定义的顺序决定.   Link Extractors Link Extractors 是用于从网页(scrapy.http.Re…

Scrapy:学习笔记(2)——Scrapy项目 1.创建项目 创建一个Scrapy项目,并将其命名为“demo” scrapy startproject demo cd demo 稍等片刻后,Scrapy为我们生成了一个目录结构: 其中,我们目前需要重点关注三个文件: items.py:设置数据存储模板,用于结构化数据,如:Django的Model. pipelines.py: 定义数据处理行为,如:一般结构化的数据持久化 settings.py:配置文件,如:递归的层数.并发数,延迟下载等…

Scrapy:学习笔记(1)——XPath 1.快速开始 XPath是一种可以快速在HTML文档中选择并抽取元素.属性和文本的方法. 在Chrome,打开开发者工具,可以使用$x工具函数来使用XPath来选择元素,比如选中所有的超链接. 1.1.XPath的基本格式 XPath通过"路径表达式"(Path Expression)来选择节点. 在形式上,"路径表达式"与传统的文件系统非常类似. 比如我们依次获得Html节点(即最根节点).Html下的Body节点.Ht…

最近一段时间开始研究爬虫,后续陆续更新学习笔记 爬虫,说白了就是获取一个网页的html页面,然后从里面获取你想要的东西,复杂一点的还有: 反爬技术(人家网页不让你爬,爬虫对服务器负载很大) 爬虫框架(你不可能逮到一个需求就从头写个爬虫把,框架已经有了) 多线程 当然这是我自己的理解,而scrapy框架算是比较流行的python爬虫框架,开始搞把 目前的套路就是学到能爬你想爬的any网站,然后获取你想要的any数据,至于反爬什么的,网络限制什么的,再看吧,把基础的弄好. 用的是1.4版本,默认已经…

前言 "小步快跑.快速迭代"的开发大环境下,"一套代码.多端运行"是很多开发团队的梦想,美团也一样.他们做了很多跨平台开发框架的尝试:React Native.Weex.PWA 等等.但都没有得到很好的解决,直至遇到Flutter. Flutter 提供了一整套从底层渲染逻辑到上层开发语言的完整方案,有跨平台.高保真.高性能等优点.因此从发布开始,热度一路攀升,受到开发者们的热切青睐,也有了 阿里闲鱼.今日头条.腾讯 Now 等在内的一众知名商业案例. 我曾跟很多前…

Python--网络编程学习系列笔记01 网络编程基本目标: 不同的电脑上的软件能够实现数据传输 网络编程基础知识: IP地址: 用来在网络中标记一台电脑  网络号+主机号(按网络号和主机号占位分类A,B,C, D(多点广播以1110开始,), E)       查看自己的IP:  windows系统:ipconfig mac,Linux等系统:ifconfig (up/down 网卡名,开启关闭对应网卡) IP地址的分类:     ipv4(ip version 4):192.168.1.1(…

最近搞到手了一部Angular4的视频教程,这几天正好有时间变学了一下,可以用来做一些前后端分离的网站,也可以直接去打包web app. 环境&版本信息声明 运行ng -v @angular/cli: 1.2.0 node: 8.1.2 os: win32 x64 @angular/* 4.2.5 ... 好吧,那就顺便写个笔记/教程/备忘/博客咯 安装Angular脚手架 安装的时候选择全局安装 npm install @angular/cli -g 创建Angular项目 运行命令 ng n…

Angular4.0基础知识见上一篇博客 路由 简介 接下来学习路由的相关知识 本来是不准备写下去的,因为当时看视频学的时候感觉自己掌握的不错 ( 这是一个灰常不好的想法 ) ,过了一段时间才发现Angular这个对我这个PHP程序猿来说不太常用的东西非常容易忘!幸好之前去写了笔记. 首先需要先了解一个概念(SPA),也就是单页面应用,一个页面只加载一次,不再刷新,只改变页面部分内容的应用. 路由的作用就是为每一个视图分配一个唯一的URL,进入这个URL的时候,使应用跳到某个特定的视图状态. 创…

初探scrapy,发现很多入门教程对应的网址都失效或者改变布局了,走了很多弯路.于是自己摸索做一个笔记. 环境是win10 python3.6(anaconda). 安装 pip install scrapy 由于是第一次尝试,这次爬取美剧天堂(http://www.meijutt.com/)以下模块的剧名: 1.创建工程 scrapy startproject movie 2.编辑items.py,设置数据存储模版 # -*- coding: utf-8 -*- # Define here t…

本章学习爬虫的 回调和跟踪链接 使用参数 回调和跟踪链接 上一篇的另一个爬虫,这次是为了抓取作者信息 # -*- coding: utf-8 -*- import scrapy class MyspiderAuthorSpider(scrapy.Spider): name = 'myspider_author' start_urls = ['http://quotes.toscrape.com/'] def parse(self, response): # 链接到作者页面 for href in…