作业二:为集群内的机器设定主机名,利用/etc/hosts文件来解析自己的集群中所有的主机名,相应的,集群的配置应该改成使用主机名的方式 1.主机信息配置并解析 [root@localhost ~]# vim /etc/hosts [root@localhost ~]# ping python [root@localhost ~]# vim /etc/hosts 注:因只有一个主机,解析主机名使用的python及python1同为一个主机名,方便区分: 集群的配置改成使用主机名时使用python…
mysql -h -u maxwell -p#10.0.15.145 远程机器ip#-P 注意是大写P 端口#-u 用户#-p 密码…
作业一:临时配置网络(ip,网关,dns)+永久配置 设置临时网络配置: 配置IP ifcongfig ens33 192.168.16.177/24 (ifconfig 网卡 ip地址    /24代表它子网掩码) 配置网关 route add default gw 192.168.16.177 netmask 255.255.255.0  添加默认网关 配置 DNS vim /etc/resolv.conf            (DNS配置文件位置) 设置永久网络配置: cd /etc/s…
临时配置网络(ip,网关,dns) #ifconfig ens33 192.168.185/24 #ens33网卡名称.192.168.185/24是要配置的ip地址/子网掩码 #vim /etc/resolv.conf #dns配置文件,修改其中的nameserver即可 #route -n #查看当前网关 #route add default gw 192.168.185.2 netmask 255.255.255.0 #添加默认网关和子网掩码 #route del default gw 1…
本文主要讲解如何在Linux环境下安装Spark集群,安装之前我们需要Linux已经安装了JDK和Scala,因为Spark集群依赖这些.下面就如何安装Spark进行讲解说明. 一.安装环境 操作系统:Red Hat Enterprise Linux 6 64 位(版本号6.6) JDK版本:1.8 Scala版本:2.12.2 Spark版本:2.2.0 172.18.3.135 主节点 172.18.3.136 从节点 172.18.3.137 从节点 之后的操作如果是用普通用户操作的话也必…
1.Consul概念 1.1什么是Consul? Consul是一种服务网格解决方案,是HashiCorp公司推出的开源组件,由Go语言开发,部署起来很容易,只需要极少的可执行程序和配置.同时Consul也是一个分布式的,高度可用的系统,它附带了一个简单的内置代理,开箱即用,也支持Envoy等第三方代理集成,它还提供了具有服务发现,配置和分段功能. 1.2Consul的特点 ●服务发现(Service Discovery):Consul提供了通过DNS或者HTTP接口的方式来注册服务和发现服务.…
Linux环境Kafka集群安装配置及常用命令 Kafka 消息队列内部实现原理 Kafka架构 一.下载Kafka安装包 二.Kafka安装包的解压 三.设置环境变量 四.配置kafka文件 4.1 server.properties 五.启动kafka集群并测试 5.1创建Topic 5.2创建broker 5.3创建订阅者 六.kafka常用命令 6.1创建主题(4个分区,2个副本) 6.2查询 6.3发送和消费 6.4平衡leader 6.5kafka自带压测命令 Kafka 用途:在流…
上一章节我介绍了Elasticsearch安装与运行,本章节及后续章节将全方位介绍 Elasticsearch 的工作原理 在这个章节中,我将会再进一步介绍 cluster . node . shard 等常用术语,Elastisearch 的扩容机制, 以及如何处理硬件故障的内容. 1.分布式特性 Elasticsearch 可以横向扩展至数百(甚至数千)的服务器节点,同时可以处理PB级数据.Elasticsearch 天生就是分布式的,并且在设计时屏蔽了分布式的复杂性. Elasticsea…
redis-cluster配置   为什么要用redis-cluster 1.并发问题 redis官方声称可以达到 10万/每秒,每秒执行10万条命令假如业务需要每秒100万的命令执行呢? 2.数据量太大 一台服务器内存正常是16~256G,假如你的业务需要500G内存, 新浪微博作为世界上最大的redis存储,就超过1TB的数据,去哪买这么大的内存条?各大公司有自己的解决方案,推出各自的集群功能,核心思想都是将数据分片(sharding)存储在多个redis实例中,每一片就是一个redis实例…
内容基于(自己的真是操作步骤编写) Linux 搭建Hadoop集群---Jdk配置 Linux 搭建Hadoop集群 ---SSH免密登陆 一:下载安装 Hadoop 1.1:下载指定的Hadoop hadoop-2.8.0.tar.gz 1.2:通过XFTP把文件上传到master电脑bigData目录下 1.3:解压hadoop压缩文件 tar -xvf hadoop-2.8.0.tar.gz 1.4:进入压缩文件之后 复制路径 /bigData/hadoop-2.8.0 1.5:配置Ha…