1、创建一个简单的scrapy项目

scrapy startproject search(项目名称)
按照提示
cd  search
scrapy genspider serachname  search.com 

生成的项目结构如下：

searchname.py :

1、一种方式，入口为 start_urls =[]

2、另外一种方式，重写start_requests, 这里yield出去一个Request, 且不带callback参数，则默认回调parse方法

可以yield  request， 可以yield item， 也可以yield {‘’：‘’} dict类型数据到管道中，在管道中进行处理

如果需要入库或者进行抓取的数据，可以记录到item中去，进行后续的处理。

在item中进行各种类型的数据定义，比较简单；并引入到spider中去使用

pipelines.py



												


											
scrapy 简单操作的更多相关文章
	

    
								
  1. x01.MagicCube: 简单操作
		
    看最强大脑,发现魔方还是比较好玩的,便买了一个,对照七步还原法,居然也能成功还原. 为什么不写一个魔方程序呢?在网上找了找,略作修改,进行简单操作,还是不错的,其操作代码如下: protected o ...
    
		
    2. 
						
  2. js简单操作Cookie
		
    贴一段js简单操作Cookie的代码: //获取指定名称的cookie的值 function getCookie(objName) { var arrStr = document.cookie.spl ...
    
		
    3. 
						
  3. GitHub学习心得之 简单操作
		
    作者:枫雪庭 出处:http://www.cnblogs.com/FengXueTing-px/ 欢迎转载 前言 本文对Github的基本操作进行了总结, 主要基于以下文章: http://gitre ...
    
		
    4. 
						
  4. Linq对XML的简单操作
		
    前两章介绍了关于Linq创建.解析SOAP格式的XML,在实际运用中,可能会对xml进行一些其它的操作,比如基础的增删该查,而操作对象首先需要获取对象,针对于DOM操作来说,Linq确实方便了不少,如 ...
    
		
    5. 
						
  5. Linux 中 Vi 编辑器的简单操作
		
    Linux 中 Vi 编辑器的简单操作 Vi 编辑器一共有3种模式:命名模式(默认),尾行模式,编辑模式.3种模式彼此需要切换. 一.进入 Vi 编辑器的的命令 vi  filename //打开或新 ...
    
		
    6. 
						
  6. python（pymysql）之mysql简单操作
		
    一.mysql简单介绍 说到数据库,我们大多想到的是关系型数据库,比如mysql.oracle.sqlserver等等,这些数据库软件在windows上安装都非常的方便,在Linux上如果要安装数据库 ...
    
		
    7. 
						
  7. ZooKeeper系列3：ZooKeeper命令、命令行工具及简单操作
		
    问题导读1.ZooKeeper包含哪些常用命令?2.通过什么命令可以列出服务器 watch 的详细信息?3.ZooKeeper包含哪些操作?4.ZooKeeper如何创建zookeeper? 常用命令 ...
    
		
    8. 
						
  8. ORACLE的安装与网页版创建表空间的简单操作以及PLsql的简单操作
		
    1.oracle的安装: 安装简单易学,在这里不做解释.下载看装包后耐心等待,注意安装目录不要有中文字符,尽量按照指定目录进行安装.安装完成后会占用有大约5g的内存. 如果要卸载oracle,需要用其 ...
    
		
    9. 
						
  9. C#反射技术的简单操作(读取和设置类的属性)
		
    public class A { public int Property1 { get; set; } } static void Main(){ A aa = new A(); Type type  ...
    
		
    10. 
		

	


随机推荐
	

    
									
  1. 编写函数，第一个参数指定今天是星期几（1 ~ 7），第二个参数指定天数n，返回n天后是星期几
			
    def week(today, n): s = n % 7 + today return "n天后是星期:{}".format(s) print(week(1, 3))
    
			
    2. 
						
  2. 原生js实现三个按钮绑定三个计时器，点击其中一个按钮，开启当前计时器，另外另个不开启
			
    今天在某个前端交流群,有个小伙伴问了一个小功能,自己想了一下,代码如下,可以实现基本功能: 下面是html结构 <div id="demo"> <input ty ...
    
			
    3. 
						
  3. hdu3461
			
    题意描述:有一个类似滚轮式的密码锁放在一排共n个,有m种操作每次操作一个区间,且此次操作后的所有密码相同,问最多能形成多少种密码 解决:将区间分为可变部分和不可变部分,没当有可变部分时候总区间数要减去 ...
    
			
    4. 
						
  4. C语言试题
			
    C语言试题 [说明]: 1.本试题中不考虑头文件引用问题(假定已经包含正确的头文件),C语言的标准函数都可用: 2.如果不特别说明,假定程序运行环境为:操作系统Windows 2000, VC6.0编 ...
    
			
    5. 
						
  5. Window-CPU-M Benchmark
			
    https://downloads.tomsguide.com/CPU-M-Benchmark,0301-48005.html docker FS, DB, ES 很慢,原来是31.26机器又问题,因 ...
    
			
    6. 
						
  6. HDU——2588 GCD
			
    题目大意: 求1~N中与N的最大公约数大于M的个数 思路: 这个题是不是可以想到暴力枚举??对于每一组数据枚举与他的最大公约数大于m的数的个数. 是,这种做法没错误,但是保准你T成狗.... 我们至少 ...
    
			
    7. 
						
  7. [bzoj1084][SCOI2005]最大子矩阵（DP）
			
    题目:http://www.lydsy.com:808/JudgeOnline/problem.php?id=1084 分析: m=1时:相当于只有一行数,让你取出p段,使得总和最大 明显可以DP,f ...
    
			
    8. 
						
  8. jq页面提示或者页面牵引浏览--页面的指引向导插件
			
    1.看看插件效果吧 2. html 文件 :index.html <!DOCTYPE html> <html lang="en"> <head> ...
    
			
    9. 
						
  9. Python中range和xrange的异同之处
			
    range     函数说明:range([start,] stop[, step]).依据start与stop指定的范围以及step设定的步长,生成一个序列. range演示样例:  >> ...
    
			
    10. 
						
  10. POJ 1741 Tree 树形DP（分治）
			
    链接:id=1741">http://poj.org/problem?id=1741 题意:给出一棵树,节点数为N(N<=10000),给出N-1条边的两点和权值,给出数值k,问 ...
    
			
    11.