Python_scrapyRedis零散

1.

# Redis
 
1.解压，配环境变量
 
2.win上设置自启动
 
    redis-server --service-install D:\redis\redis.windows.conf --loglevel verbose
 
3.启动redis
 
    redis-server E:\redis\redis-latest\redis.windows.conf
 
4.进入数据库，另起一个cmd框
 
    redis-cli -h 127.0.0.1 -p 6379
 
5.在 redis.windows.conf 中解注 “requirepass foobared”   将foobared改为密码；注：不能有空格
 
6.重开始登陆 
 
    redis-cli -h 127.0.0.1 -p 6379 -a 123456
---
 
## 1.非关系型数据库 Nosql(not noly sql)不是典型数据库 / Key-Values存储系统
 
- momgoDB 的优势：支持多种查询和支持创建索引
- Redis 速度极快，价格高；持久化和热备时候消耗大量带宽和运力  → 5种数据类型的几种常用方法，默认不支持查询，可以在键上设置
 
注：memcached 是sql中继器，不算Nosql
 
redis的字符类型
 
1.string
 
2.hash
 
3.lsit
 
4.set
 
---
十大算法 快速排序、
多进程多线程
 
---
购物车 以前是session，现在是redis
功能：
 
    商品展示
    购物车操作
    添加删除商品
    结算
    ...
 
---
## scrapy
 
### 1.解释scrapy的工作流程
 
### 2.scrapy的优势
 
    scrapy自带多进程，能执行整站采集，自动调度器
 
### 3.多主机爬虫架构
 
    待整理：...
    一个起始spider(共享主队列)
    一个主机多个从机
    分布式进程
 
### 在scrapy中使用redis，，去重
 
    “指纹”：当前对象的唯一标示
    redis每次执行前检查指纹是否存在，再进行添加任务
 
### 分布式防止终端
 
### 如何实现架构？
 
    scrapy自带框架
 
## scrapy-redis 的分布式实现
 
    master  主机
    slave    副机
    可移植性好
 
##