最近需要用spring boot + mybatis整合hadoop,其中也有碰到一些坑,记录下来方便后面的人少走些弯路. 背景呢是因为需要在 web 中上传文件到 hdfs ,所以需要在spring boot中加入hadoop相关的jar包.在加入的过程中容易出一些错误,主要是包冲突这一类的问题,解决了之后就好了,在这里顺便记录一下此次解决问题的思路,有需要的朋友可以看看. 一. Spring boot整合Hadoop依赖 先给出答案吧,要整合hadoop,比如在 web 中对Hdfs 进行一

一.Dubbo 1. Dubbo定义 Dubbo是Alibaba开源的分布式服务框架,它最大的特点是按照分层的方式来架构,使用这种方式可以使各个层之间解耦合(或者最大限度地松耦合).从服务模型的角度来看,Dubbo采用的是一种非常简单的模型,要么是提供方提供服务,要么是消费方消费服务,所以基于这一点可以抽象出服务提供方(Provider)和服务消费方(Consumer)两个角色. Dubbo就是资源调度和治理中心的管理工具. 2.Dubbo架构 节点角色说明: Provider: 暴露服务的服务

前言 本篇文章主要介绍的是SpringBoot整合Redis,使用Restful风格实现的CRUD功能. Redis 介绍 Redis 是完全开源免费的,遵守BSD协议,是一个高性能的key-value数据库. Redis 与其他 key - value缓存产品有以下三个特点: Redis支持数据的持久化,可以将内存中的数据保存在磁盘中,重启的时候可以再次加载进行使用. Redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,zset,hash等数据结构的存储. Re

ActiveMQ是Apache提供的一个开源的消息系统,完全采用Java来实现,因此它能很好地支持JMS(Java Message Service,即Java消息服务)规范:本文将详细介绍下ActiveMq的安装.与SpringBoot整合发送队列消息.发送主题消息的的过程. 本文目录 一.Linux下ActiveMQ安装1.下载并解压2.运行3.进入管理界面二.发送队列消息三.发送主题消息 一.Linux下ActiveMQ安装 1.下载并解压 wget https://mirrors.tuna

之前大学时搭建过一个FastDFS的图片服务器,当时只是抱着好奇的态度搭着玩一下,当时搭建采用了一台虚拟机,tracker和storage服务在一台机器上放着,最近翻之前的博客突然想着在两台机器上搭建试一下,顺便整合了SpringBoot实现了一下图片的上传服务. 新的阅读体验地址:http://www.zhouhong.icu/post/140 使用旧版本的在一台机器上搭建可以参考之前的那篇文章:https://www.cnblogs.com/Tom-shushu/p/10603723.htm

1.理论概述 1.1.分布式 分布式系统是若干独立计算机的集合,这些计算机对于用户来讲就像单个系统. 由多个系统集成成一个整体,提供多个功能,组合成一个板块,用户在使用上看起来是一个服务.(比如淘宝网). 起源 分布式系统出现的原因是:用多个廉价的.普通的机器完成单个计算机无法完成的计算.存储任务 分布式使用 只有单个节点处理能力无法满足日益增长的计算.存储任务的时候,且硬件的提升(内存.磁盘.CPU)高昂得不偿失的时候,应用程序也不能进一步优化的时候,才考虑分布式. 因为分布式系统是建立在网络

ELK相关TODO 快速开始文档(https://www.cnblogs.com/lbhym/p/15934416.html) SpringBoot整合ELK ELK接入Kafka(待Kafka快速开始文档完成之后) Kafka相关TODO Kafka快速开始文档,包含下载.配置.启动.Java Client等 管理Kafka及常见问题解决,包含Kafka Manager.AdminClient.Kafka命令行说明(Shell脚本) 前言 ​ 快速开始文档中,讲解了ELK三个组件的下载.安装.

目标:运行单机版hadoop http://localhost:50030mapredule监控界面 http://localhost:50070HDFS监控页面 -->安装linux系统 -->java环境 -->ssh免密码登陆-->防火墙iptables -->配置hadoop 环境准备:Centos 6.3  http://mirror.symnds.com/distributions/CentOS-vault/6.3/isos/i386/   CentOS-6.3-

hbase安装配置(整合到hadoop) 如果想详细了解hbase的安装:http://abloz.com/hbase/book.html 和官网http://hbase.apache.org/ 1.  快速单击安装 在单机安装Hbase的方法.会引导你通过shell创建一个表,插入一行,然后删除它,最后停止Hbase.只要10分钟就可以完成以下的操作. 1.1下载解压最新版本 选择一个 Apache 下载镜像:http://www.apache.org/dyn/closer.cgi/hbase

sprig-boot是一个微服务架构,加快了spring工程快速开发,以及简便了配置.接下来开始spring-boot与mybatis的整合. 1.创建一个maven工程命名为spring-boot-entity,pom.xml文件配置如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:s

已经有好些日子没有总结了,不是变懒了,而是我一直在奋力学习springboot的路上,现在也算是完成了第一阶段的学习,今天给各位总结总结. 之前在网上找过不少关于springboot的教程,都是一些比较粗糙的文章,就连百度百科也是少的可怜,所以进度一直跟不上计划.下面根据我这几天的学习和摸索,谈谈我对spring和springboot的区别,以及很多业界人士说它的快速开发,到底是快在哪儿,方便在哪儿?首先我认为在项目的架构搭建方面变得极其利索,不再需要像之前一样整合ssh或ssm那样进行一大堆的

继上篇springboot整合mq发送消息队列 本篇主要在上篇基础上进行activiemq消息队列的接收springboot整合mq发送消息队列 第一步:新建marven项目,配置pom文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http:/

springboot整合mybaits注解开发时,返回json或者map对象时,如果一个字段的value为空,需要更改springboot的配置文件 mybatis: configuration: call-setters-on-nulls: true

SpringBoot整合Redis.ApachSolr和SpringSession 一.简介 SpringBoot自从问世以来,以其方便的配置受到了广大开发者的青睐.它提供了各种starter简化很多繁琐的配置.SpringBoot整合Druid.Mybatis已经司空见惯,在这里就不详细介绍了.今天我们要介绍的是使用SpringBoot整合Redis.ApacheSolr和SpringSession. 二.SpringBoot整合Redis Redis是大家比较常用的缓存之一,一般Redis都

前言 在上一篇学习SpringBoot中,整合了Mybatis.Druid和PageHelper并实现了多数据源的操作.本篇主要是介绍和使用目前最火的搜索引擎ElastiSearch,并和SpringBoot进行结合使用. ElasticSearch介绍 ElasticSearch是一个基于Lucene的搜索服务器,其实就是对Lucene进行封装,提供了 REST API 的操作接口 ElasticSearch作为一个高度可拓展的开源全文搜索和分析引擎,可用于快速地对大数据进行存储,搜索和分析.

前言 本篇文章主要介绍的是SpringBoot整合kafka和storm以及在这过程遇到的一些问题和解决方案. kafka和storm的相关知识 如果你对kafka和storm熟悉的话,这一段可以直接跳过!如果不熟,也可以看看我之前写的博客.一些相关博客如下. kafka 和 storm的环境安装 地址:http://www.panchengming.com/2018/01/26/pancm70/ kafka的相关使用 地址:http://www.panchengming.com/2018/01

什么是SpringCloud? SpringCloud是一个分布式的整体解决方案.SpringCloud为开发者提供了在分布式系统中快速构建的工具,使用SpringCloud可以快速的启动服务或构建应用.同时能够快速和云平台资源进行对接. SpringCloud分布式开发五大常用组件 服务发现——Netflix Eureka 客户端负载均衡——Netflix Ribbon 断路器——NetFlix Hystrix 服务网关——Netflix Zuul 分布式配置——Spring Cloud Co

本系列是学习SpringBoot整合RabbitMQ的练手,包含服务安装,RabbitMQ整合SpringBoot2.x,消息可靠性投递实现等三篇博客. 学习路径:https://www.imooc.com/learn/1042 RabbitMQ消息中间件极速入门与实战 项目源码:https://github.com/ZbLeaning/Boot-RabbitMQ 整合实际上主要两步: 1.引入相关依赖 2.对application.yml进行配置 注意:后续需要使用数据库,因此需要安装mysq

前后端分离后,维护接口文档基本上是必不可少的工作.一个理想的状态是设计好后,接口文档发给前端和后端,大伙按照既定的规则各自开发,开发好了对接上了就可以上线了.当然这是一种非常理想的状态,实际开发中却很少遇到这样的情况,接口总是在不断的变化之中,有变化就要去维护,做过的小伙伴都知道这件事有多么头大!还好,有一些工具可以减轻我们的工作量,Swagger2就是其中之一,至于其他类似功能但是却收费的软件,这里就不做过多介绍了.本文主要和大伙来聊下在Spring Boot中如何整合Swagger2. 工程

上文我们讲到Springboot整合Elastic-Job整合的demo,只是简单的实现了主要功能.本文在上文基础上,进行新的调整. 事件追踪 Elastic-Job提供了事件追踪功能,可通过事件订阅的方式处理调度过程的重要事件,用于查询.统计和监控.Elastic-Job目前提供了基于关系型数据库两种事件订阅方式记录事件.我们只需要将添加如下配置即可 /** * 将作业运行的痕迹进行持久化到DB */ @Bean public JobEventConfiguration jobEventCon

Elastic-Job是当当网的任务调度开源框架,有以下功能 分布式调度协调 弹性扩容缩容 失效转移 错过执行作业重触发 作业分片一致性,保证同一分片在分布式环境中仅一个执行实例 自诊断并修复分布式不稳定造成的问题 支持并行调度 支持作业生命周期操作 丰富的作业类型 Spring整合以及命名空间提供 运维平台 具体信息可以查看 官网,Elastic-Job的文档很详细,同时也有相应的demo.但是,美中不足的是他的springboot版本的demo用的是xml结构的.网上的例子都有点乱,花了点时