什么叫做缓存穿透

缓存穿透只会发生在高并发的时候，就是当有10000个并发进行查询数据的时候，我们一般都会先去redis里面查询进行数据，但是如果redis里面没有这个数据的时候，那么这10000个并发里面就会有很大一部分并发会一下子都去mysql数据库里面进行查询了

解决缓存穿透

首先我模拟一下缓存穿透

比如下面的代码



Pom.xml代码

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>

    <artifactId>springboot</artifactId>

    <version>0.0.1-SNAPSHOT</version>

    <packaging>jar</packaging>

    <name>springboot</name>

    <description>Demo project for Spring Boot</description>

    <parent>

        <groupId>org.springframework.boot</groupId>

        <artifactId>spring-boot-starter-parent</artifactId>

        <version>2.1.1.RELEASE</version>

        <relativePath></relativePath> <!-- lookup parent from repository -->

    </parent>

    <properties>

        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>

        <java.version>1.8</java.version>

    </properties>

    <dependencies>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-web</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-devtools</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-test</artifactId>

            <scope>test</scope>

        </dependency>

        <dependency>

            <groupId>org.mybatis.spring.boot</groupId>

            <artifactId>mybatis-spring-boot-starter</artifactId>

            <version>1.1.1</version>

        </dependency>

        <dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

        </dependency>

    </dependencies>

    <build>

        <plugins>

            <plugin>

                <groupId>org.springframework.boot</groupId>

                <artifactId>spring-boot-maven-plugin</artifactId>

            </plugin>

        </plugins>

    </build>

</project>

Application.properties

server.port=8081

#DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver

spring.datasource.url=jdbc:mysql://47.91.248.236:3306/hello?useUnicode=true&characterEncoding=utf8

spring.datasource.username=root

spring.datasource.password=root

#spring集成Mybatis环境

#pojo别名扫描包

mybatis.type-aliases-package=com.itheima.domain

#加载Mybatis映射文件

mybatis.mapper-locations=classpath:mapper/*Mapper.xml

MyController代码，下面的蓝色代码是模仿10000个并发线程

/**

 * sinture.com Inc.

 * Copyright (c) 2016-2018 All Rights Reserved.

 */

package com.itheima.controller;

import com.itheima.mapper.UserMapper;

import com.itheima.domain.User;

import com.itheima.service.UserService;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.web.bind.annotation.PathVariable;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.ResponseBody;

import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

/**

 * @author xinzhu

 * @version Id: MyController.java, v 0.1 2018年12月05日 下午6:29 xinzhu Exp $

 */

@RestController

public class MyController {

    @Autowired

    private UserService userService;

    @RequestMapping("/hello/{id}")

    @ResponseBody

    public User queryUser(@PathVariable Integer id){

       // 蓝色代码注释开始

       new Thread(){

            @Override

            public void run() {

                for (int x = 0; x < 10000; x++) {

                    userService.queryUser(id);

                }

            }

        }.start();

        // 蓝色代码注释结束

        return userService.queryUser(id);

    }

}

User类

/**

 * sinture.com Inc.

 * Copyright (c) 2016-2018 All Rights Reserved.

 */

package com.itheima.domain;

/**

 * @author xinzhu

 * @version Id: User.java, v 0.1 2018年12月06日 下午1:40 xinzhu Exp $

 */

public class User {

    // 主键

    private Integer id;

    // 用户名

    private String username;

    // 密码

    private String password;

    // 姓名

    private String name;

    public void setId(Integer id) {

        this.id = id;

    }

    @Override

    public String toString() {

        return "User{" +

                "id=" + id +

                ", username='" + username + '\'' +

                ", password='" + password + '\'' +

                ", name='" + name + '\'' +

                '}';

    }

    public Integer getId() {

        return id;

    }

    public String getUsername() {

        return username;

    }

    public void setUsername(String username) {

        this.username = username;

    }

    public String getPassword() {

        return password;

    }

    public void setPassword(String password) {

        this.password = password;

    }

    public String getName() {

        return name;

    }

    public void setName(String name) {

        this.name = name;

    }

}

UserService

package com.itheima.service;

import com.itheima.domain.User;

public interface UserService {

    public User queryUser(Integer id);

}

UserServiceImpl，下面的蓝色代码就是模仿redis，此时要注意下面的模拟redis的map集合必须放到下面的queryUser的外面，也就是说下面的userMap变量必须是成员变量，不然的话，因为redis是被多个线程共享的，如果你放到下面的queryUser()方法里面，那么就是多个线程有多个userMap集合，下面的代码就是如果查询到数据，那么就用redis里面的，如果查询不到就用数据库里面的

package com.itheima.service;

import com.itheima.domain.User;

import com.itheima.mapper.UserMapper;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.stereotype.Service;

import java.util.HashMap;

import java.util.Map;

@Service

public class UserServiceImpl implements UserService {

    @Autowired

    private UserMapper userMapper;

    // 蓝色代码注释开始

    static Map<Integer,User> userMap=new HashMap();

    static {

        User huancun_user =new User();

        huancun_user.setId(1);

        huancun_user.setName("zhangsan");

        huancun_user.setPassword("123");

        huancun_user.setName("张三");

        userMap.put(1,huancun_user);

    }

    // 蓝色代码注释结束

    public User queryUser(Integer id){

        User user=userMap.get(id);

        if(user==null){

            user= userMapper.queryUser(id);

            System.out.println("查询数据库");

            userMap.put(user.getId(),user);

        }else{

            System.out.println("查询缓存");

        }

        return user;

    };

}

SpringbootApplication代码

package com.itheima;

import org.springframework.boot.SpringApplication;

import org.springframework.boot.autoconfigure.SpringBootApplication;

@SpringBootApplication

public class SpringbootApplication {

    public static void main(String[] args) {

        SpringApplication.run(SpringbootApplication.class, args);

    }

}

数据库里面的数据如下

-- ----------------------------

-- Table structure for `user`

-- ----------------------------

DROP TABLE IF EXISTS `user`;

CREATE TABLE `user` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `username` varchar(50) DEFAULT NULL,

  `password` varchar(50) DEFAULT NULL,

  `name` varchar(50) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Records of user

-- ----------------------------

INSERT INTO `user` VALUES ('1', 'zhangsan', '123', '张三');

INSERT INTO `user` VALUES ('2', 'lisi', '123', '李四');

然后我们查询下面的链接，因为此时上面的模拟redis的map集合里面没有id值是2的数据，所以此时都是查询数据库，你想这一下子10000并发过去，数据库会有很大压力的，

然后打印结果如下，就是打印了很多查询数据库和查询缓存，此时也就说明10000个并发里面有很多去查询了数据库，这个是要避免的，至于为什么有查询缓存的打印，因为我们把查询的数据给放到模拟的redis里面了啊，所以刚开始的一大部分线程都是查询数据库，然后剩下的都是查询模拟的redis缓存里面的数据

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询数据库

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

然后我们使用双重检测锁来解决上面的缓存穿透

我们怎么解决缓存穿透呢，即使10000个并发过来，然后这10000个并发需要的数据在redis里面都没有，那么我们应该第一个线程查询数据里面的数据，然后把这个数据给放到redis里面，然后剩下的9999个线程都到redis里面查询，这样就解决了缓存穿透，所以我们可以把上面的代码变成下面这样

比如下面的代码

Pom.xml代码

<?xml version="1.0" encoding="UTF-8"?>

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

    <modelVersion>4.0.0</modelVersion>

    <groupId>com.example</groupId>

    <artifactId>springboot</artifactId>

    <version>0.0.1-SNAPSHOT</version>

    <packaging>jar</packaging>

    <name>springboot</name>

    <description>Demo project for Spring Boot</description>

    <parent>

        <groupId>org.springframework.boot</groupId>

        <artifactId>spring-boot-starter-parent</artifactId>

        <version>2.1.1.RELEASE</version>

        <relativePath></relativePath> <!-- lookup parent from repository -->

    </parent>

    <properties>

        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>

        <java.version>1.8</java.version>

    </properties>

    <dependencies>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-web</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-devtools</artifactId>

        </dependency>

        <dependency>

            <groupId>org.springframework.boot</groupId>

            <artifactId>spring-boot-starter-test</artifactId>

            <scope>test</scope>

        </dependency>

        <dependency>

            <groupId>org.mybatis.spring.boot</groupId>

            <artifactId>mybatis-spring-boot-starter</artifactId>

            <version>1.1.1</version>

        </dependency>

        <dependency>

            <groupId>mysql</groupId>

            <artifactId>mysql-connector-java</artifactId>

        </dependency>

    </dependencies>

    <build>

        <plugins>

            <plugin>

                <groupId>org.springframework.boot</groupId>

                <artifactId>spring-boot-maven-plugin</artifactId>

            </plugin>

        </plugins>

    </build>

</project>

Application.properties

server.port=8081

#DB Configuration:

spring.datasource.driverClassName=com.mysql.jdbc.Driver

spring.datasource.url=jdbc:mysql://47.91.248.236:3306/hello?useUnicode=true&characterEncoding=utf8

spring.datasource.username=root

spring.datasource.password=root

#spring集成Mybatis环境

#pojo别名扫描包

mybatis.type-aliases-package=com.itheima.domain

#加载Mybatis映射文件

mybatis.mapper-locations=classpath:mapper/*Mapper.xml

MyController代码，下面的蓝色代码是模仿10000个并发线程

/**

 * sinture.com Inc.

 * Copyright (c) 2016-2018 All Rights Reserved.

 */

package com.itheima.controller;

import com.itheima.mapper.UserMapper;

import com.itheima.domain.User;

import com.itheima.service.UserService;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.web.bind.annotation.PathVariable;

import org.springframework.web.bind.annotation.RequestMapping;

import org.springframework.web.bind.annotation.ResponseBody;

import org.springframework.web.bind.annotation.RestController;

import java.util.HashMap;

import java.util.List;

import java.util.Map;

/**

 * @author xinzhu

 * @version Id: MyController.java, v 0.1 2018年12月05日 下午6:29 xinzhu Exp $

 */

@RestController

public class MyController {

    @Autowired

    private UserService userService;

    @RequestMapping("/hello/{id}")

    @ResponseBody

    public User queryUser(@PathVariable Integer id){

       // 蓝色代码注释开始

       new Thread(){

            @Override

            public void run() {

                for (int x = 0; x < 10000; x++) {

                    userService.queryUser(id);

                }

            }

        }.start();

        // 蓝色代码注释结束

        return userService.queryUser(id);

    }

}

User类

/**

 * sinture.com Inc.

 * Copyright (c) 2016-2018 All Rights Reserved.

 */

package com.itheima.domain;

/**

 * @author xinzhu

 * @version Id: User.java, v 0.1 2018年12月06日 下午1:40 xinzhu Exp $

 */

public class User {

    // 主键

    private Integer id;

    // 用户名

    private String username;

    // 密码

    private String password;

    // 姓名

    private String name;

    public void setId(Integer id) {

        this.id = id;

    }

    @Override

    public String toString() {

        return "User{" +

                "id=" + id +

                ", username='" + username + '\'' +

                ", password='" + password + '\'' +

                ", name='" + name + '\'' +

                '}';

    }

    public Integer getId() {

        return id;

    }

    public String getUsername() {

        return username;

    }

    public void setUsername(String username) {

        this.username = username;

    }

    public String getPassword() {

        return password;

    }

    public void setPassword(String password) {

        this.password = password;

    }

    public String getName() {

        return name;

    }

    public void setName(String name) {

        this.name = name;

    }

}

UserService

package com.itheima.service;

import com.itheima.domain.User;

public interface UserService {

    public User queryUser(Integer id);

}

UserServiceImpl，下面的蓝色代码就是模仿redis，此时要注意下面的模拟redis的map集合必须放到下面的queryUser的外面，也就是说下面的userMap变量必须是成员变量，不然的话，因为redis是被多个线程共享的，如果你放到下面的queryUser()方法里面，那么就是多个线程有多个userMap集合，下面的代码就是如果查询到数据，那么就用redis里面的，如果查询不到就用数据库里面的

然后下面的红色代码就是解决上面的缓存穿透问题，使用锁来解决缓存穿透问题，而且叫做双重检测锁，为什么叫做双重检测锁呢，因为有两个if语句，第一个if语句就是为了减少走红色代码里面的同步代码块，因为如果换成里面存在想要的数据，那么就不需要走下面的红色代码里面的同步代码块了，所以有两个if语句，至于为什么要有下面的 user= userMap.get(id);，是因为第一次线程查询把数据放到模仿的redis缓存里面之后，剩下的线程当走到下面的同步代码块的时候，需要在查询一下缓存里面的数据就会发现刚刚第一个线程放到redis里面的数据了，所以才会有下面的红色代码里面的 user= userMap.get(id);

package com.itheima.service;

import com.itheima.domain.User;

import com.itheima.mapper.UserMapper;

import org.springframework.beans.factory.annotation.Autowired;

import org.springframework.stereotype.Service;

import java.util.HashMap;

import java.util.Map;

@Service

public class UserServiceImpl implements UserService {

    @Autowired

    private UserMapper userMapper;

    // 蓝色代码注释开始

    static Map<Integer,User> userMap=new HashMap();

    static {

        User huancun_user =new User();

        huancun_user.setId(1);

        huancun_user.setName("zhangsan");

        huancun_user.setPassword("123");

        huancun_user.setName("张三");

        userMap.put(1,huancun_user);

    }

    // 蓝色代码注释结束

    public User queryUser(Integer id){

        User user=userMap.get(id);

        // 红色代码注释开始

        if(user==null){

            synchronized (this) {

                user= userMap.get(id);

                if (null == user) {

                    user= userMapper.queryUser(id);

                    System.out.println("查询数据库");

                    userMap.put(user.getId(),user);

                }else{

                    System.out.println("查询缓存");

                }

            }

        }else{

            System.out.println("查询缓存");

        }

        //红色代码注释结束

        return user;

    };

}

数据库里面的数据如下

-- ----------------------------

-- Table structure for `user`

-- ----------------------------

DROP TABLE IF EXISTS `user`;

CREATE TABLE `user` (

  `id` int(11) NOT NULL AUTO_INCREMENT,

  `username` varchar(50) DEFAULT NULL,

  `password` varchar(50) DEFAULT NULL,

  `name` varchar(50) DEFAULT NULL,

  PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;

-- ----------------------------

-- Records of user

-- ----------------------------

INSERT INTO `user` VALUES ('1', 'zhangsan', '123', '张三');

INSERT INTO `user` VALUES ('2', 'lisi', '123', '李四');

然后我们查询下面的链接，因为此时上面的模拟redis的map集合里面没有id值是2的数据，所以此时都是查询数据库，你想这一下子10000并发过去，数据库会有很大压力的，



然后打印结果如下，就是就只有第一个打印了查询数据库，然后剩下的都是查询缓存了，这就是解决缓存穿透

查询数据库

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

查询缓存

能看到这里的同学，就帮忙点个推荐吧，Thanks♪(･ω･)ﾉ

Java模拟并解决缓存穿透的更多相关文章

  1. Bloom Filter（布隆过滤器）如何解决缓存穿透

    本文摘抄自我的微信公众号"程序员柯南",欢迎关注!原文阅读 缓存穿透是什么? 关于缓存穿透,简单来说就是系统处理了大量不存在的数据查询.正常的使用缓存流程大致是,数据查询先进行缓存 ...

  2. JAVA结合Redis处理缓存穿透问题

    public List<WeixinMenu> getList() { List<WeixinMenu> weixinMenuList= (List<WeixinMenu ...

  3. 什么是redis的缓存雪崩与缓存穿透？如何解决？

    一.缓存雪崩 1.1 什么是缓存雪崩? 首先我们先来回答一下我们为什么要用缓存(Redis): 1.提高性能能:缓存查询是纯内存访问,而硬盘是磁盘访问,因此缓存查询速度比数据库查询速度快 2.提高并发 ...

  4. 缓存与数据库一致性之三：缓存穿透、缓存雪崩、key重建方案

    一.缓存穿透预防及优化 缓存穿透是指查询一个根本不存在的数据,缓存层和存储层都不会命中,但是出于容错的考虑,如果从存储层查不到数据则不写入缓存层,如图 11-3 所示整个过程分为如下 3 步: 缓存层 ...

  5. Redis缓存穿透、缓存雪崩、redis并发问题 并发竞争key的解决方案 (阿里)

    阿里的人问我 缓存雪崩(大量数据在同一时间过期了)了如何处理,缓存击穿了如何处理,回答的很烂,做了总结: 把redis作为缓存使用已经是司空见惯,但是使用redis后也可能会碰到一系列的问题,尤其是数 ...

  6. 【缓存】缓存穿透、缓存雪崩、key重建方案

    一.缓存穿透预防及优化 缓存穿透是指查询一个根本不存在的数据,缓存层和存储层都不会命中,但是出于容错的考虑,如果从存储层查不到数据则不写入缓存层,如图 11-3 所示整个过程分为如下 3 步: 缓存层 ...

  7. 缓存穿透、雪崩、热点与Redis

    (拼多多问:Redis雪崩解决办法) 导读:互联网系统中不可避免要大量用到缓存,在缓存的使用过程中,架构师需要注意哪些问题?本文以 Redis 为例,详细探讨了最关键的 3 个问题. 一.缓存穿透预防 ...

  8. Redis缓存穿透、缓存雪崩、redis并发问题分析

    把redis作为缓存使用已经是司空见惯,但是使用redis后也可能会碰到一系列的问题,尤其是数据量很大的时候,经典的几个问题如下: (一)缓存和数据库间数据一致性问题分布式环境下(单机就不用说了)非常 ...

  9. redis缓存穿透，缓存击穿，缓存雪崩原因+解决方案

    一.前言 在我们日常的开发中,无不都是使用数据库来进行数据的存储,由于一般的系统任务中通常不会存在高并发的情况,所以这样看起来并没有什么问题,可是一旦涉及大数据量的需求,比如一些商品抢购的情景,或者是 ...

随机推荐

  1. HDU 4059：The Boss on Mars（数学公式+容斥原理）

    http://acm.hdu.edu.cn/showproblem.php?pid=4059 题意:给出一个n,求1~n里面与n互质的数的四次方的和是多少. 思路:不知道1~n的每个数的四次方的求和公 ...

  2. VUE-CLI3.0脚手架安装

    文档:https://cli.vuejs.org/zh/guide/ 条件: npm 更至最新 node >=8.9 1.全局安装 npm install -g @vue/cli 或 yarn ...

  3. [HNOI2012]矿场搭建 题解

    [HNOI2012]矿场搭建 时间限制: 1 Sec  内存限制: 128 MB 题目描述 煤矿工地可以看成是由隧道连接挖煤点组成的无向图.为安全起见,希望在工地发生事故时所有挖煤点的工人都能有一条出 ...

  4. Python重试模块retrying

    Python重试模块retrying 工作中经常碰到的问题就是,某个方法出现了异常,重试几次.循环重复一个方法是很常见的.比如爬虫中的获取代理,对获取失败的情况进行重试. 刚开始搜的几个博客讲的有点问 ...

  5. solidity智能合约中tx.origin的正确使用场景

    简介 tx.origin是Solidity的一个全局变量,它遍历整个调用栈并返回最初发送调用(或事务)的帐户的地址.在智能合约中使用此变量进行身份验证会使合约容易受到类似网络钓鱼的攻击. 但针对tx. ...

  6. 【最小生成树之Prim算法】-C++

    [最小生成树之Kruskal算法] 没有看过的可以先看↑,会更简单. [模板]最小生成树 这一篇博客主要是介绍另外一种算法:Prim算法. prim算法就好像是一棵"生成树"在慢慢 ...

  7. MySQL5.7.20源码安装以及pt-query-digest用法示例

    MySQL5.7.20源码安装1.下载解压cd /data/app/mysql5.7wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5 ...

  8. 高性能javascript-总结(一)

    性能优化 第一章:加载和执行 总结: 将所有<script>标签放到页面底部.这能确保在脚本执行前页面已经渲染了. 合并脚本.<script>标签越少,加载越快,响应速度也更迅 ...

  9. 新手小白之学习python一飞冲天日志之—基本数据类型，条件控制语句

    python的历史 04年目前最流行的WEB框架Django诞生 python2:源码不统一,有重复的功能代码 python3:源码统一,没有重复的功能代码 python是一个什么编程语言 编译型:编 ...

  10. Java多线程（七）：ReentrantLock

    加锁和解锁 我们来看下ReentrantLock的基本用法 ThreadDomain35类 public class ThreadDomain35 { private Lock lock = new ...