一.爬虫策略 1.主服务器先根据spider.all set排重,再 lpush request_url 到spider.wait List中,并且 sadd request_url 到 set中: 2.两台从服务器 brpop 出最后一条url 进行解析,再抓取数据: 二.缓存策略 1.主服务器通过爬取各类排行榜或首页等Book集合.简短字段的页面 创建多个不同key的Hash expect => create {"siteId_bookId": Hash} 2.从服务器通过爬…

概述 在通过对世面上的各种小说网站简单了解之后(PS:好多盗版网站真的好丑哦.),去除花里胡哨的功能,保留实用功能. 初步制定了以下几个功能需求,当然,所有需求功能都是我自己设计.自己评审,大不了到时候再改嘛.(我这也算是敏捷开发?滑稽.) 一.用户体系 初步设定三类人群 1.游客 不谈了,百分之八九十的人估计都是个这... 2.普通用户 通过邮箱.微信.QQ进行注册(其实也想搞个手机注册,奈何阿里云的短信包都贵的很哩,暂时搁着吧...) 3.VIP用户 弄这玩意我其实是拒绝的,但是我看了下大部…

一.为啥要做这个网站 很久没有写技术相关的博客了,最近几个月忙飞,各种工作,技术根本学不完,很难受. 趁着春节期间,终于有空闲时间做自己爱做的事情了,美滋滋. 热爱技术,热爱小说,于是诞生了个这么玩意. 开贴记录下,舒服. 二.项目背景 以前完成了个基于Bootstrap和Asp.Net MVC的demo产品,挂在我的扣脚低配阿里云服务器上,实现了基本的看小说和搜小说的功能,后来公司忙起来了,除了加班就是休息,没有继续维护自己的产品,导致这玩意GG了,现在也懒得维护了.但是怎么说呢,还是想有头有…

目录: 缓存更新策略 缓存粒度 缓存穿透 缓存雪崩 缓存击穿 缓存更新策略: 1.内存溢出淘汰策略 当redis的使用内存超过maxmemory时会触发相应的策略,具体策略由maxmemory-policy参数控制 淘汰策略分为六种: )noeviction:默认策略,此策略不会删除任何数据:当客户端还进行写操作时将返回OOM(内存溢出) )volatile-lru:根据LRU算法删除设置了过期时间的key,如果没有可删除的key,回退到noevication策略 )volatile-rando…

概述 后台数据库几个基本表基本搭建完毕,看了下Github Develop的V4 Api抛弃了RESTful,采用GraphQL,感觉很有意思,一看文档,竟然有Python的开源实现 Graphene ,这就很舒服了. 反正也是学习,搞起来. Flask + Graphene + SQLAlchamy + MariaDB 花了点小时间的,搞出了我的第一个GraphQL接口.还是有点意思的. findBookTypes{ edges{ node{ typeId typeName parentTyp…

Redis缓存设计及常见问题 缓存能够有效地加速应用的读写速度,同时也可以降低后端负载,对日常应用的开发至关重要.下面会介绍缓存使 用技巧和设计方案,包含如下内容:缓存的收益和成本分析.缓存更新策略的选择和使用场景.缓存粒度控制法.穿透问题优化.无底洞问题优化.雪崩问题优化.热点key重建优化. 缓存的收益和成本分析 下图左侧为客户端直接调用存储层的架构,右侧为比较典型的缓存层+存储层架构. 缓存加入后带来的收益和成本. 收益: ①加速读写:因为缓存通常都是全内存的,而存储层通常读写性能不够强悍…

百度网盘爬虫 现在市面上出现了很多网盘搜索引擎,写这系列博文及爬虫程序的初衷: 更方面的查找资源 学习C# 学习爬虫的设计与实现 记录学习历程 自我监督 能力有限,如有不妥之处,还请各位看官点评.同在学习的网友~与君共勉. 工具/库选择 mysql5.6 (习惯使然,sqlserver比较庞大,个人使用起来不是很习惯,后期可能改为sqlserver) HttpWebRequest.HttpWebResponse.JSON.NET库 vs2015, .NET4.5 PS:介绍以上是权当做个备忘录/…

无意间看到17小说网里面有一些小说小故事,于是决定用爬虫爬取下来自己看着玩,下图这个页面就是要爬取的来源. a 这个页面一共有125个标题,每个标题里面对应一个内容,如下图所示 下面直接看最核心spiders中的代码 # -*- coding: utf-8 -*- import scrapy from k17.items import K17Item import json class A17kSpider(scrapy.Spider): name = '17k' allowed_domains…

11.Redis缓存设计11.1 缓存的收益和成本11.2 缓存更新策略11.3 缓存粒度控制11.4 穿透优化11.5 无底洞优化11.6 雪崩优化11.7 热点key重建优化11.8 本章重点回顾…

基于python+mysql浅谈redis缓存设计与数据库关联数据处理 by:授客  QQ:1033553122 测试环境 redis-3.0.7 CentOS 6.5-x86_64 python 3.3.2 基于Python操作Redis 1.创建示例数据库表 CREATE TABLE tb_signin_rank( id INT, user_name VARCHAR(10) COMMENT '用户名', signin_num INT COMMENT '签到次数', signin_time D…