# -*- coding: utf-8 -*- import scrapy from sx.items import SxItem class SkSpider(scrapy.Spider): name = 'sk' allowed_domains = ['biqiuge.com'] start_urls = ['https://www.biqiuge.com/book/4772/'] def parse(self, response): for box in response.xpath("/…

闲来无事想看个小说,打算下载到电脑上看,找了半天,没找到可以下载的网站,于是就想自己爬取一下小说内容并保存到本地 圣墟 第一章 沙漠中的彼岸花 - 辰东 - 6毛小说网  http://www.6mao.com/html/40/40184/12601161.html 这是要爬取的网页 观察结构 下一章 然后开始创建scrapy项目: 其中sixmaospider.py: # -*- coding: utf-8 -*- import scrapy from ..items import Sixma…

一.安装 首先scrapy的安装之前需要安装这个模块:wheel.lxml.Twisted.pywin32,最后在安装scrapy pip install wheel pip install lxml 这个地址是一个下载python包的好地方 https://www.lfd.uci.edu/~gohlke/pythonlibs/下载twisted pip install Twisted pip install pywin32 pip install scrapy 安装完成后 输入scrapy 能…

数组Array是Javascript语言中非常重要的两种引用类型数据之一,另外一种为对象Object.Array的数据模型可分为两种进行存储:堆栈结构.队列结构. 昨天,确切说是前天了,去和大学同学见面,请了半天假,顺便去参加了一个面试,结果还不知道:先说说面试中的一些Javascript相关的基本知识.虽然平时工作中也经常用到各种数组相关的方法, 但理解不够深刻,总是容易遗忘,今天趁机再整理一下. 1.数组的基本属性:①length.②prototype.③constructor Array.…

find 文件查找 查找txt和pdf文件 find . \( -name "*.txt" -o -name "*.pdf" \) -print 查找所有字母开头的文件 find . -name "[a-a]*" 否定参数->查找所有非txt文本 find . ! -name "*.txt" -print 指定搜索深度->打印出当前目录的文件(深度为1) find . -maxdepth 1 -type f 正则方…

博主是一个近十年的老书虫了,从高中那会儿就开始看网络小说.每天半天看晚上看啊,终于眼睛也近视了,成绩也下降了(....好像说远了) 最近在追辰东的<圣墟>,最近写到精彩部分了,一直等更新.但是也不能一直开着浏览器刷新啊.... 于是乎,就发挥了咱们程序员自给自足的精神,写一个程序去监听,然后等又更新的时候,自动打开浏览器,然后就可以愉快的看书了.. -说干就干,打开VS2017,新建一个......随便啥项目,然后写入 HttpClient httpClient = new HttpClien…

学习目标 1.掌握SOLR的搜索工作流程: 2.掌握solr搜索的表示语法及查询解析器 3.熟悉solr搜索的JSON格式 API Solr搜索流程介绍 回顾,使用 lucene进行搜索的步骤: Solr搜索的工作流程 查看内核的solrconfig.xml文件,了解搜索的请求处理器配置 对比看_default.sample_techproducts_configs两种配置集的内核配置. 配置中的参数元素介绍见下一页. 仔细查看techproducts 内核的solrconfig.xml的 /s…

HTML文档 文档树: Doctype Doctype告诉浏览器使用什么样的html或xhtml规范来解析html文档 有和无的区别 BackCompat:标准兼容模式未开启(或叫怪异模式[Quirks mode].混杂模式) CSS1Compat:标准兼容模式已开启(或叫严格模式[Standards mode/Strict mode]) 这个属性会被浏览器识别并使用,但是如果你的页面没有DOCTYPE的声明,那么compatMode默认就是BackCompat,这也就是恶魔的开始 -- 浏览器…

lucene.net虽说是强大,但是我还是一年前第一次玩耍,然后就没有然后了,最近准备养成记录博客的习惯了,所以又玩了玩,回来记录一下 首先新建一个类,便于调用 public class LuceneTest { private static string DirectoryPath = @"E:\学习\demo\luceneDemo\index"; public static void Build() { FSDirectory directory = FSDirectory.Ope…

在实际的运用开发中,跟数据库之间的交互是必不可少的,SpringBoot也提供了两种跟数据库交互的方式. 1. 使用JdbcTemplate 在SpringBoot中提供了JdbcTemplate模板类,JdbcTemplate提供的方法进行增删改查的操作. 首先需要在pom文件中添加依赖: <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-sta…

Mybatis集成ehcache . 为什么需要缓存 拉高程序的性能 . 什么样的数据需要缓存 很少被修改或根本不改的数据 业务场景比如:耗时较高的统计分析sql.电话账单查询sql等 . ehcache是什么 Ehcache 是现在最流行的纯Java开源缓存框架,配置简单.结构清晰.功能强大 注1:本章介绍的是2.X版本,.x的版本和2.x的版本API差异比较大 . ehcache的特点 4.1 够快 Ehcache的发行有一段时长了,经过几年的努力和不计其数的性能测试,Ehcache终被设计…

Mybatis集成ehcache 1.为什么需要缓存 拉高程序的性能 2. 什么样的数据需要缓存 很少被修改或根本不改的数据 业务场景比如:耗时较高的统计分析sql.电话账单查询sql等 3. ehcache是什么 Ehcache 是现在最流行的纯Java开源缓存框架,配置简单.结构清晰.功能强大 ehcache的特点: 够快 Ehcache的发行有一段时长了,经过几年的努力和不计其数的性能测试,Ehcache终被设计于large, high concurrency systems. 够简单 开…

Mybatis动态SQL If.trim.foreach BookMapper /** * 如果形参要在mapper.xml中使用需要加上面注解 * map.name: zs age: 12 * @param bookIds * @return */ List<Book> selectBooksIn(@Param("bookIds") List bookIds); BookService 1 List<Book> selectBooksIn(List bookI…

package com.XXX import org.apache.spark.storage.StorageLevel import org.apache.spark.{SparkConf, SparkContext} //spark中的RDD测试 object RddTest { def main(args: Array[String]): Unit = { val conf = new SparkConf().setMaster("local[*]").setAppName(&q…

1.导入需要的pom依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.7</maven.compiler.source> <maven.compiler.target>1.7</maven.compiler.target> <!--servlet --&…

Bookdao public class BookDao extends JsonBaseDao{ //分页查询书本信息 //根据书本id查询当个书本信息 public List<Map<String, Object>> queryBook(Map<String, String[]> paMap,PageBean pageBean) throws InstantiationException, IllegalAccessException, SQLException{…

目的: 1.springboot配置数据库连接池druid 测试druid中url监控 2.springboot整合mybatis 测试查删案例 3.springboot整合pagehelper springboot配置数据库连接池druid druid学习地址 https://github.com/alibaba/druid/tree/master/druid-spring-boot-starter 新建springboot项目,把要用的服务选上 导入druid相关pom依赖 <!--导入dr…

目的: Mybatis整合Ehcache实现二级缓存 Mybatis整合Redis实现二级缓存 Mybatis整合ehcache实现二级缓存 ssm中整合ehcache 在POM中导入相关依赖 <dependency> <groupId>org.springframework</groupId> <artifactId>spring-context-support</artifactId> <version>${spring.vers…

目的: Mybatis与spring集成 Aop整合pagehelper插件 Mybatis与spring集成 导入pom依赖 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"…

目的: mybatis动态sql(案例:万能查询) 查询返回结果集的处理 mybatis的分页运用 mybatis的特殊符号 mybatis动态sql(案例:万能查询) 根据id查询 模糊查询 (参数中直接加入%%) 模糊查询(使用${...}代替#{...}) 模糊查询(SQL字符串拼接CONCAT) If.trim.foreach If :如果 name 不为空,就进行if体的拼接 <if test="bname != null" > #{bname,jdbcType=…

初识面向对象 面向过程 VS 面向对象 面向过程的圣墟设计的核心是过程(流水线式思维),过程即解决问题的步骤,面向过程的设计就好比精心设计好一条流水线,考虑周全什么时候处理什么东西 优点是:极大的降低了写程序的复杂度,只需要顺着执行步骤,堆叠代码即可. 缺点是:一套流水线或者流程就是用来解决一个问题,代码牵一发而东全身 应用场景:一旦完成基本很少改变的场景,著名例子有Linux内核,git,以及Apache HTTP Server等 面向对象的程序设计的核心是对象(上帝式思维),要理解对象为何物…

今天分享hibernate框架的两个关联关系    多对多关系注意事项 一定要定义一个主控方 多对多删除 主控方直接删除 被控方先通过主控方解除多对多关系,再删除被控方 禁用级联删除 关联关系编辑,不需要直接操作桥接表,hibernate的主控方会自动维护 重点解析: 数据库的多对多 数据库中不能直接映射多对多 处理:创建一个桥接表(中间表),将一个多对多关系转换成两个一对多 hibernate的多对多 hibernate可以直接映射多对多关联关系(看作两个一对多) 一:一对多自关联 设计数据库…

#encoding: utf-8 from sqlalchemy import create_engine,Column,Integer,String,Float,func,and_,or_,Text,\ ForeignKey from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker,relationship,backref from random import…

#encoding: utf-8 from sqlalchemy import create_engine,Column,Integer,String,Float,func,and_,or_,Text,\ ForeignKey from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker,relationship,backref from random import…

#encoding: utf-8 from sqlalchemy import create_engine,Column,Integer,String,Float,func,and_,or_,Text,\ ForeignKey from sqlalchemy.ext.declarative import declarative_base from sqlalchemy.orm import sessionmaker,relationship from random import randint…

select * from STUDENT; select * from mark; select * from COURSE; select * from teacher; --注释 select sname from student;--投影查询 select * from student; select sname as 姓名,ssex as 性别,sage from student ;--属性起别名 select sname 姓名,ssex 性别,sage from student ;…

jsonp 的例子 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <meta http-equiv="X-UA-Compatible…

本文基于ES6.4版本,我也是出于学习阶段,对学习内容做个记录,如果文中有错误,请指出. 实验数据: index:book type:novel mappings: { "mappings": { "novel": { "dynamic": "false", "properties": { "word_count": { "type": "integer&q…

java_05_IO 1,动手动脑 使用Files. walkFileTree()找出指定文件夹下所有大于指定大小(比如1M)的文件. 分析思路: 1)找到该文件夹下所有文件. 2)找出其中字节数大于1*1024*1024的并输出. package com.me.afterclass; import java.io.File; public class Size { public static void main(String[] args) { File dir = new File("D:\…

1.mybatis动态sql 2.模糊查询 3.查询返回结果集的处理 4.分页查询 5.特殊字符处理 1.mybatis动态sql If.trim.foreach If 标签判断某一字段是否为空 <select id="list4" resultType="java.util.Map" parameterType="java.util.Map"> select * from t_mvc_book <where> <i…