前言:  都说现在是草根为尊的时代,近年来hadoop及spark技术在国内越来越流行.而且渐渐现成为企业的新宠.在DT时代全面来临之前,能提早接触大数据的技术必然能先人一步.本文作为Hadoop系列的第一篇,将HDFS和MapRed两个技术核心用2个实例简单实现一些,希望能供hadoop入门的朋友些许参考. --HDFS import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apa…

版权声明:本文为博主原创文章,未经博主允许不得转载.   目录(?)[+]   spring boot实战(第一篇)第一个案例 前言 写在前面的话 一直想将spring boot相关内容写成一个系列的博客,今天终于有时间开始了第一篇文章 以后有时间就会继续写下去. spring boot 博客内容规划 spring boot 基本用法 自动配置 技术集成 性能监控 源码解析 spring boot 功能强大,后面会细细道来. 第一个案例 工程的构建 构建spring boot工程一般采用两种方式…

一. 前言 本篇通过实战来讲述如何使用uni-app快速进行商城微信小程序的开发以及小程序如何接入后台Spring Cloud微服务. 有来商城 youlai-mall 项目是一套全栈商城系统,技术栈是分布式微服务加上前后端分离模式,所以在本篇项目实战开始之前需要一些往期文章作为基础. 后端 Spring Cloud实战 | 第一篇:Windows搭建Nacos服务 Spring Cloud实战 | 第二篇:Spring Cloud整合Nacos实现注册中心 Spring Cloud实战 | 第…

今天是个值得纪念了日子,我终于在博客园上发表自己的第一篇博文了.作为一名刚刚开始学习python网络爬虫的爱好者,后期本人会定期发布自己学习过程中的经验与心得,希望各位技术大佬批评指正.以下是我自己做的一个小爬虫,用到了爬虫的基本知识requests库+正则表达式库,最后将爬取到的结果存入日志result.txt,推荐给刚刚开始学习的小白们,学不可以已,积土成山,风雨兴焉,希望我们共同进步! 1 #author: "xian" #date: 2018/5/2 import reques…

一. Canal 简介 canal [kə'næl],译意为水道/管道/沟渠,主要用途是基于 MySQL 数据库增量日志解析,提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署,存在跨机房同步的业务需求,实现方式主要是基于业务 trigger 获取增量变更.从 2010 年开始,业务逐步尝试数据库日志解析获取增量变更进行同步,由此衍生出了大量的数据库增量订阅和消费业务. 基于日志增量订阅和消费的业务包括 数据库镜像 数据库实时备份 索引构建和实时维护(拆分异构索引.倒排索引等) 业务…

比较惭愧,博客很久(半年)没更新了.最近也自己搭了个博客,wordpress玩的还不是很熟,感兴趣的朋友可以多多交流哈!地址是:http://www.leocook.org/ 另外,我建了个QQ群:305994766,希望对大数据.算法研发.系统架构感兴趣的朋友能够加入进来,大家一起学习,共同进步(进群请说明自己的公司-职业-昵称). 1.应用程序角度进行优化 1.1.减少不必要的reduce任务若对于同一份数据需要多次处理,可以尝试先排序.分区,然后自定义InputSplit将某一个分区作为一…

1.准备工作: 首先,在/code_test 目录下建立一个 cmake 目录,用来放置我们学习过程中的所有练习.(如果以下命令出现xxx: cannot create directory ‘x’: Permission denied错误则需要在命令前加上sudo,编译时也是) mkdir -p /code_test/cmake 以后我们所有的cmake练习都会放在/code_test/cmake 的子目录下(你也可以自行安排目录,这个并不是限制,仅仅是为了叙述的方便)然后在cmake目录下建立…

前言 为什么放弃eureka选择nacos?本地开发环境需要搭建nacos-server,想着是很简单的事但是被一些文章(少了关键必要的步骤)给带偏了,所以亲测成功后写了这篇文章. 搭建nacos-server 1. 下载nacos-server 地址:https://github.com/alibaba/nacos/releases 选择nacos-server-1.3.2.zip下载并解压,我这里解压的位置C:\projects\,下文用%path%替代 nacos版本是nacos-serv…

1. 安装依赖包 yum install -y yum-utils device-mapper-persistent-data lvm2 2. 配置镜像源 yum config-manager --add-repo=https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 3. Docker安装 yum install -y containerd.io yum install -y docker-ce-3:18.09.1-3…

一. 前言 在上一篇文章介绍 youlai-mall 项目中,通过整合Spring Cloud Gateway.Spring Security OAuth2.JWT等技术实现了微服务下统一认证授权平台的搭建.最后在文末留下一个值得思考问题,就是如何在注销.修改密码.修改权限场景下让JWT失效?所以在这篇文章来对方案和实现进行补充.想亲身体验的小伙伴们可以了解下 youlai-mall 项目和Spring Cloud实战系列往期文章. youlai-mall项目地址 Spring Cloud实战系…