环境需求 jdk8 root@node01:~# java -version java version "1.8.0_202" Java(TM) SE Runtime Environment (build 1.8.0_202-b08) Java HotSpot(TM) 64-Bit Server VM (build 25.202-b08, mixed mode) 配置jdk请参考: https://www.cnblogs.com/ronnieyuan/p/11461377.html p…

ClickHouse集群的搭建和部署和单机的部署是类似的,主要在于配置的不一致,如果需要了解ClickHouse单机的安装设部署,可以看看这篇文章,ClickHouse(03)ClickHouse怎么安装和部署. ClickHouse集群部署流程大概如下: 环境准备 在每台机器上安装单机版ClickHouse config.xml配置 Zookeeper配置 进入ClickHouse测试 环境准备 下载安装包 按照ClickHouse(03)ClickHouse怎么安装和部署中的介绍下载即可 设…

准备工作: 若没有下载vim请下载vim 若出现 Could not get lock /var/lib/dpkg/lock 问题请参考: https://jingyan.baidu.com/article/636f38bb861422d6b8461024.html 下载 openssh-server 查看ssh 如果显示sshd则说明已启动成功 查看主机 ifconfig -a inet后面即为你的ip Xshell连接 创建soft目录 下载lrzsz, 然后就可以拖拉文件上传了 JDK配置…

集群规划: Hostname Elasticsearch Kibana Marvel Marvel Client node01 √ √ √ √ node02 √ √ node03 √ √ node04 √ √ node05 √ √ 前置准备请参考(主要是jdk 和 免密登录): https://www.cnblogs.com/ronnieyuan/p/11518913.html https://www.cnblogs.com/ronnieyuan/p/11461377.html Elastics…

服务器准备 启动hadoop最小集群的典型配置是3台服务器, 一台作为Master, NameNode, 两台作为Slave, DataNode. 操作系统使用的Ubuntu18.04 Server, 安装过程就省略了, 使用的是LVM文件系统, XFS文件格式, 为了避免浪费空间, 除了划分1G给/boot以外, 其他都划为/ 服务器规划 192.168.1.148 vm148 -- 作为master, NameNode, ResourceManager192.168.1.149 vm149…

简介 目前Kubernetes为Ubuntu提供的kube-up脚本,不支持15.10以及16.04这两个使用systemd作为init系统的版本. 这里详细介绍一下如何以非Docker方式在Ubuntu16.04集群上手动安装部署Kubernetes的过程. 手动的部署过程,可以很容易写成自动部署的脚本.同时了解整个部署过程,对深入理解Kubernetes的架构及各功能模块也会很有帮助. 环境信息 版本信息 组件 版本 etcd 2.3.1 Flannel 0.5.5 Kubernetes 1…

04.Spark Standalone集群搭建 4.1 集群概述 独立模式是Spark集群模式之一,需要在多台节点上安装spark软件包,并分别启动master节点和worker节点.master节点是管理节点,负责和各worker节点通信,完成worker的注册与注销.worker节点是任务执行节点,通过worker节点孵化出执行器子进程来执行任务. 4.2 集群规划 这里使用4台主机部署Spark集群,主机名称分别是s101.s102.s103和s104. s101 #Master节点 s1…

目录 前言 一.multipass快速入门 安装 使用 二.使用multipass搭建k8s集群 创建3台虚拟机 安装master节点 安装node节点 测试k8s集群 三.其他问题 不能拉取镜像:报ImagePullBackOff错误 前言 multipass相当于docker版本的虚拟机,k3s是轻便版本的k8s,两者结合让你使用k8s就像德芙一样纵享丝滑. 以下内容由chenqionghe倾情奉献,手把手教你使用multipass和搭建搭建k8s集群,giao~ 一.multipass快速…

1.安装CUDA 1.1安装前工作 1.1.1选取实验器材 实验中的每台计算机均装有双系统.选择其中一台计算机作为master节点,配置有GeForce GTX 650显卡,拥有384个CUDA核心.另外两台计算机作为worker节点,一个配置有GeForce GTX 650显卡,另外一个配置有GeForce GTX 750 Ti显卡,拥有640个CUDA核心. 在每台计算机均创建hadoop用户并赋予root权限,本文所有的操作都将在hadoop用户下进行. 1.1.2安装前准备 用以下命令来…

2017年2月22日, 星期三 Cloudera Manager安装_搭建CDH集群 cpu   内存16G 内存12G 内存8G 默认单核单线 CDH1_node9 Server  || Agent 10G 6G 5G CDH2_node10 Agent 2G 1-1.5G 1G CDH3_node11 Agent 2G 1-1.5G 1G 1. • 系统环境准备 1.网络配置  vi /etc/sysconfig/network vi /etc/hosts 2.SSH免密钥登录 虚拟机的环境…

硬件环境 本文适用的硬件环境如下 Linux版本:CentOS release 6.7 (Final) Redis版本: Redis已经成功安装,安装路径为/home/idata/yangfan/local/redis-3.2.1. 我们要在单台机器上搭建Redis集群,方式是通过不同的TCP端口启动多个实例,然后组成集群. 1.启动Redis多个实例 我们在Redis安装目录下创建目录cluster,并编写7000.conf~7005.conf 6个配置文件,这6个配置文件用来启动6个实例,后…

目的 在Redis Codis 部署安装的文章中,介绍了通过fe在web上搭建codis的基本步骤和方法,也介绍了codis-admin的相关说明,为了更好的熟悉codis-admin的使用,本文将使用codis-admin直接搭建codis集群(和fe进行相关的对比).这样做的另一个目的是为实现自动化脚本部署的时候做相关的准备. 环境 和Redis Codis 部署安装中的环境一样,包括各个服务的IP和端口,以及安装方法. 机器 服务 端口 端口说明 依赖 192.168.163.131/13…

Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境 一.环境说明 个人理解:zookeeper可以独立搭建集群,hbase本身不能独立搭建集群需要和hadoop和hdfs整合 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: IP     角色10.10.50.133 master10.10.125.156 slave110.10.114.11…

安装包准备 操作系统:ubuntu-16.04.3-desktop-amd64.iso 软件包:VirtualBox 安装包:hadoop-3.0.0.tar.gz,jdk-8u161-linux-x64.tar.gz 1. 环境准备 使用VirtualBox和下载的ubuntu镜像文件新建三个Ubuntu操作环境,具体配置如下: 用户 内存(G) 磁盘空间(G) hadoop01 1.5 10 hadoop02 1.5 10 hadoop03 1.5 10 2. 网络环境准备        点…

kubeadm是K8s官方推荐的快速搭建K8s集群的方法. 环境: Ubuntu 16.04 1 安装docker Install Docker from Ubuntu’s repositories: apt-get update apt-get install -y docker.io or install Docker CE 17.03 from Docker’s repositories for Ubuntu or Debian: apt-get update apt-get instal…

docker-compose搭建zookeeper集群环境 使用docker-compose搭建zookeeper集群环境 zookeeper是一个集群环境,用来管理微服务架构下面的配置管理功能. 这篇文章是一个基础步骤如何搭建zookeeper的docker集群环境. 我们使用docker-compose来搭建如下的zookeeper集群环境: 集群包含三个node:zookeeper1, zookeeper2, zookeeper3 下载zookeeper docker image $ do…

使用Cloudera Manager搭建MapReduce集群及MapReduce HA 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任.   一.通过CM部署MapReduce On YARN 1>.进入安装服务向导 2>.选择咱们要安装的服务MR  3>.为MR分配角色 4>.配置MapReduce存储数据的目录 5>.等待MapReduce部署完成 6>.MapReduce服务成功加入到现有集群 7>.查看CM管理界面,多出来了一个MapRe…

Ubuntu16.04安装kubernetes1.13集群 最新的安装可以使用以下方式:https://www.cnrancher.com/docs/rancher/v2.x/cn/overview/quick-start-guide 方便,快捷! 以下为正文. 前言 Docker容器化,虚拟化技术上的又一个猛将,可以极高提高软件部署的速度.运行一个Docker容器,这个容器作为一个进程分配了计算资源,不同容器之间资源隔离,仿佛每个容器都是一台机器, 并且通过宿主机网桥,可以模拟一个局域网.可以…

基于Kubeadm 搭建K8s集群: 通过上一篇博客,我们已经基本了解了 k8s 的基本概念,也许你现在还是有些模糊,说真的我也是很模糊的.只有不断地操作去熟练,强化自己对他的认知,才能提升境界. 我们就去搭建一个集群来感受一下.我这里搭建的一个Master 2个 Worker.尽量保持机器环境干净,我由于minikube没装好导致kubelet一直无法启动. 配置要求(官网推荐https://kubernetes.io/docs/setup/production-environment/too…

一.前言 集群的搭建需要多台机器,之前我使用 ubuntu 16.04 搭建过 hadoop 的单机模式和分布式模式,这个今后会写,今天先写一篇使用 < Windows10 搭建 ElasticSearch 集群服务 >供大家参考! 需要注意的是:在 win 10 上部署多个 elasticsearch 节点 ,每个 elasticsearch 的端口都必须不一样. 二.需要的安装包 elasticsearch-5.6.8.zip 和 elasticsearch-head-master.zip…

自己搭建的集群,启动hadoop 集群是,发现slave节点的datanode没有启动,查了资料发现是因为我在启动集群前,执行了这个命令: hadoop namenode -format 这个指令会重新格式化namenode的信息,这样可能会导致master节点的VERSION信息跟datanode的信息对不上,导致指令无法同步. 查看VERION信息: master 的 namenode 信息: > cd /usr/local/src/hadoop-2.6.1/dfs/name/current…

Kubeadm 证书过期处理 以下内容参考了如下链接:https://www.cnblogs.com/skymyyang/p/11093686.html 一.处理证书已过期的集群 使用 kubeadm 搭建的集群,默认证书有效期是 1 年.如果没有在证书过期前续期,那么集群会无法运行,使用的过程中会报如下错误: x509: certificate has expired or is not yet valid. 查看当前 kubeadm 搭建的集群证书有效期信息,命令如下: [@master74…

一.概述 简介 Cassandra是一个开源分布式NoSQL数据库系统. 它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与Amazon Dynamo的完全分布式的架构于一身.Facebook于2008将 Cassandra 开源,此后,由于Cassandra良好的可扩展性,被Digg.Twitter等知名Web 2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案. 不过国内并未流行起来,除了最早的淘宝和360在用,加上阿里巴巴后来一直…

在MongoDB(版本 3.2.9)中,分片是指将collection分散存储到不同的Server中,每个Server只存储collection的一部分,服务分片的所有服务器组成分片集群.分片集群(Sharded Clustered)的服务器分为三中类型:Router(mongos),Config Server 和 Shard(Replica Set 或 Standalone mongod).使用分片集群,不需要使用强大的计算机,就能存储更多的数据,处理更大的负载.分布式数据库系统的设计目的是:…

本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用(主从.事务与锁.持久化)> 本文我们继续学习redis的高级特性——集群.本文主要内容包括集群搭建.集群分区原理和集群操作的学习. Redis集群简介 Redis 集群是3.0之后才引入的,在3.0之前,使用哨兵(sentinel)机制(本文将不做介绍,大家可另行查阅)来监控各个节点之间的状态.Redi…

本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群. 项目中在私有云中使用CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群进行大数据计算.作为微软的忠实粉丝,将CDH部署到Windows Azure的虚拟机中是我的必然选择.由于CDH中包含多个开源服…

搭建mongodb集群(副本集+分片) 转载自:http://blog.csdn.net/bluejoe2000/article/details/41323051 完整的搭建mongodb集群(副本集+分片)的例子... 准备四台机器,分别是bluejoe1,bluejoe2,bluejoe3,以及bluejoe0 副本集及分片策略确定如下: 将创建3个副本集,命名为shard1,shard2,shard3: 以上3个副本集作为3个分片: 每个副本集包含3个副本(主.辅1.辅2): 副本分开存储…

搭建Artifactory集群 制品仓库系统有很多,例如Artifactory.Archiva.Sonatype Nexus.Eclipse Package Drone,其中Artifactory拥有很多强大的企业级特性和人性化的用户接口,拥有众多客户群.很多大型的公司都在使用它,通过以下的Google趋势图可以看出,它越来越受青睐.功能对比在此:Binary Repository Manager Feature Matrix Artifactory许可证 官方正版license,3个 Lice…

本文是redis学习系列的第四篇,前面我们学习了redis的数据结构和一些高级特性,点击下面链接可回看 <详细讲解redis数据结构(内存模型)以及常用命令> <redis高级应用(主从.事务与锁.持久化)> 本文我们继续学习redis的高级特性——集群.本文主要内容包括集群搭建.集群分区原理和集群操作的学习. Redis集群简介 Redis 集群是3.0之后才引入的,在3.0之前,使用哨兵(sentinel)机制(本文将不做介绍,大家可另行查阅)来监控各个节点之间的状态.Redi…

用了这么久的hadoop,只会使用streaming接口跑任务,各种调优还不熟练,自定义inputformat , outputformat, partitioner 还不会写,于是干脆从头开始,自己搭一个玩玩,也熟悉一下整体架构. 整体环境: 主机Win7 i5 4核 8G内存 笔记本: 虚拟机(客户机)采用Centos5.9 ( 用这个的原因是不想用图形界面,并且以后还想试着装一下ICE) 3台互联的虚拟机搭建Hadoop集群: 1. 选用virtualbox V4.2.18 + Cento…