一.集群Linux环境搭建 1. 注意事项 1.1 windows系统确认所有的关于VmWare的服务都已经启动 打开任务管理器->服务,查看五个VM选项是否打开. 1.2 确认好VmWare生成的网关地址 打开VMWare->编辑->虚拟网络编辑器->选择VMnet8->NAT设置->网关:192.168.253.2 1.3 确认VmNet8网卡已经配置好了IP地址和DNS 打开 设置->网络和Internet->更改适配器选项->VMnet8-&g…

环境搭建以及etcd 单节点安装过程 安装之前的环境搭建 在进行k8s安装之前先把虚拟机准备好,这里准备的是三台虚拟机 主机名 ip地址 角色 master 172.16.163.131 master node1 172.16.163.130 node node2 172.16.163.129 node 然后进行环境部署 第一步:关闭防火墙 //在master虚拟机上执行以下命令 systemctl stop firewalld systemctl disable firewalld //在另外…

本文原创,如需转载,请注明作者以及原文链接! 一.前期准备: 1.jdk安装        不要用centos7自带的openJDK2.hostname    配置       配置位置:/etc/sysconfig/network文件3.hosts           配置        配置位置 : /etc/hosts4.date            配置       date -s "....."设置日期一致5.   关闭安全机制 /etc/sysconfig/selinux…

1.下载安装scala http://www.scala-lang.org/download/2.11.6.html   2.解压下载后的文件,配置环境变量:编辑/etc/profile文件,添加如下内容:   export SCALA_HOME=/root/scala-2.11.6 export PATH=$SCALA_HOME/bin:$PATH   运行source /etc/profile使环境变量的修改立即生效   3.配置conf/spark-env.sh环境变量   进入$SPAR…

本文接上文内容继续: server01 192.168.8.118 jdk.www.fengshen157.com/ hadoop NameNode.DFSZKFailoverController(zkfc) server02 192.168.8.119 jdk.www.baohuayule.net  hadoop NameNode.DFSZKFailoverController(zkfc) server03 192.168.8.120 jdk.www.thd178.com hadoop Res…

选择kube-prometheus版本 k8s集群版本是1.22.x 5个节点 说明:如果你电脑配置低,也可以1个master节点,2个node节点 3个节点 Kube-Prometheus地址:https://github.com/prometheus-operator/kube-prometheus/ 找到和自己Kubernetes版本对应的版本 选择0.9 克隆:git clone -b release-0.9 https://github.com/prometheus-operator/…

1. os ubuntu12.04 基础环境准备 干掉不好用的vim重新装 sudo apt-get remove vim-common sudo apt-get install vim 如果需要使用代理请参照 http://jileniao.net/set-global-proxy-for-ubuntu.html 有大部分文章说的用命令行设置的都不行 搭samba共享服务 sudo apt-get install samba   // 提供samba服务的机器需要安装 sudo apt-get…

centos PG集群搭建 一.安装PG 1.安装之前首先查看软件是否已经安装 rpm -qa | grep postgresql #若存在,需要卸载使用 yum remove postgresql 2.安装postgresql和postgresql-server 能够访问外网 # 获取源 sudo yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-…

HashiCorp 公司推出的Consul是一款分布式高可用服务治理与服务配置的工具.关于其配置与使用可以参考这篇文章 consul 简介与配置说明. 一般,我们会在多台主机上安装并启动 consul,在开发时这可能会比较不方便,所以这里介绍如何使用 vagrant 和 docker 来简化开发环境的搭建. 利用 vagrant 创建虚拟机 Vagrant 是 HashiCorp 公司的产品, 用于创建和部署虚拟化开发环境,支持常见的操作系统.由于其安装比较简单,参照官方文档即可,此处不再赘述.…

摘要:本文介绍如何基于Jupyter notebook搭建Spark集群开发环境. 本文分享自华为云社区<基于Jupyter Notebook 搭建Spark集群开发环境>,作者:apr鹏鹏. 一.概念介绍: 1.Sparkmagic:它是一个在Jupyter Notebook中的通过Livy服务器 Spark REST与远程Spark群集交互工作工具.Sparkmagic项目包括一组以多种语言交互运行Spark代码的框架和一些内核,可以使用这些内核将Jupyter Notebook中的代码转…