背景 应用需要对两个集群中的同一目录下的HDFS文件个数和文件总大小进行比对,在测试环境中发现,即使两边HDFS目录下的数据不一样,应用日志显示两边始终比对一致,分下下来发现,应用连的一直是同一个集群.大数据集群:CDH6.2.1 定位分析 应用代码片段 Configuration mainconf = new Configuration(); mainconf.addResource(new Path(main_prefix+"/core-site.xml")); mainconf.…

[root@hive-dp-7bd6fd4d55-wctjn hive-1.1.0-cdh5.14.0]# hdfs getconf -confKey fs.default.name19/12/04 08:27:40 INFO Configuration.deprecation: fs.default.name is deprecated. Instead, use fs.defaultFShdfs://hadoop-hdfs-master:9000/[root@hive-dp-7bd6fd4d…

1. 安装依赖包和软件 在所有服务器上输入命令进行安装操作 yum install epel-release -y yum install ganglia-web ganglia-gmetad ganglia-gmond –y 2. 在master服务器上配置监控端 vi /etc/ganglia/gmetad.conf 修改下面内容 data_source master: master-backup: node1: node2: node3: case_sensitive_hostnames…

要点总结: 使用DBeaver Enterprise连接redis集群可以通过SQL语句查看key对应的value,但是没法查看key. 使用RedisDesktopManager连接redis集群可以通过SQL语句查看key对应的value,也可以查看key. DBeaver Enterprise版本信息: Redis集群是采用Docker方式部署的,版本是6.0.8 在配置连接的时候勾选这个,表示的是连接的是redis集群: 但是呢,连接后查看信息,没找到redis集群中存储的key名称等信…

[root@node01 customShells]# hdfs dfs -ls /Warning: fs.defaultFS is not set when running "ls" command. 原因: /usr/bin/ 下存在 hadoop和hdfs可执行文件,usr/bin 是优先查找的路径,所以先找到了 .usr/bin 下面的hdfs,直接执行了. 执行的不是你安装目录下的文件,所以读取不到你hadoop的配置. 可以执行  which hadoop和which hd…

1 安装JDK   1) 进入JDK官网 2) 下载JDK安装包 3)配置环境变量,在/etc/profile增加以下代码 JAVA_HOME=/home/hadoop/jdk1.6.0_38 PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/jre/lib/dt.jar:$JAVA_HOME/jre/lib/tools.jar export JAVA_HOME PATH CLASSPATH 4)…

下载Hadoop安装包 登录 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 镜像站,找到我们要安装的版本,点击进去复制下载链接 安装Hadoop时要注意版本与后续安装的HBase.Spark等相关组件的兼容,不要安装了不匹配的版本,而导致某些组件需要重装 输入命令进行安装操作 cd /usr/local/src/ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/…

文章目录 ActiveMQ 高可用集群安装.配置.高可用测试( ZooKeeper + LevelDB) ActiveMQ高可用+负载均衡集群的安装.配置.高可用测试 准备 正式开始 ActiveMQ 高可用集群安装.配置.高可用测试( ZooKeeper + LevelDB) (ZooKeeper + LevelDB) 从 ActiveMQ 5.9 开始,ActiveMQ 的集群实现方式取消了传统的 Master-Slave 方式,增加了基于 ZooKeeper + LevelDB 的 Mas…

前期准备就不详细说了 .修改Linux主机名 .修改IP .修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机.阿里云主机等) /etc/hosts里面要配置的是内网IP地址和主机名的映射关系 .关闭防火墙 .ssh免登陆 .安装JDK,配置环境变量等 集群规划: 主机名 IP 安装的软件 运行的进程 server01 192.168.1.201 jdk.hadoop NameNode.DFSZKFailoverController(…

Hadoop集群搭建-05安装配置YARN Hadoop集群搭建-04安装配置HDFS  Hadoop集群搭建-03编译安装hadoop Hadoop集群搭建-02安装配置Zookeeper Hadoop集群搭建-01前期准备 HDFS是配合Hadoop使用的分布式文件系统,分为 namenode: nn1.hadoop nn2.hadoop datanode: s1.hadoop s2.hadoop s3.hadoop (看不明白这5台虚拟机的请看前面 01前期准备 ) 解压配置文件 [had…