1.安装环境 ①.四台Linux CentOS6.7 系统 hostname                ipaddress              subnet mask                  geteway 1. master 192.168.146.200 255.255.255.0 192.168.146.2 2. slave1 192.168.146.201 255.255.255.0 192.168.146.2 3. slave2 192.168.146.202 25…

1.准备阶段 准备好两台虚拟机(安装好hadoop,见:https://www.cnblogs.com/cjq10029/p/12336446.html),计划: IP 主机名 192.168.3.7 hdp01 主节点 192.168.3.8 hdp02 从节点 2.开始操作 1.同步时间 yum install ntpdate #各节点安装同步工具 ntpdate ntp1.aliyun.com #同步阿里云ntp服务器时间 date #查看同步后的时间 2.配置IP映射 vim /etc/…

一.准备虚拟机两台 1.将虚拟机进行克隆https://www.cnblogs.com/the-roc/p/12336745.html 2.1将克隆虚拟机的IP修改一下 vi /etc/sysconfig/network-scripts/ifcfg-ens33 完成后:systemctl restart network 2.2 修改主机名 vim /etc/hostname reboot 重启生效 2.3修改ip与主机映射 vim /etc/hosts reboot   重启 二.开始完全分布式…

序言 最近公司一个汽车项目想用hbase做存储,然后就有了这篇文字,来,来,来, 带你一起征服hbase,并推荐一本书<hbase权威指南> 这是一本极好的hbase入门书籍,我花了一个晚上看完觉得这书蛮好的!  本文分上下两篇,上篇是hbase+hadoop+hdfs+zookeeper集群环境的安装,下篇讲解hbase如何集成spring来使用.hbase是个什么鬼?不知道不要紧,本文是我三天的成果,拿去,不谢! Hbase+hadoop+hdfs+zookeeper集群环境的安装 had…

我们在搭建伪分布式Hadoop环境,需要将一系列的配置文件配置好. 一.配置文件 1. 配置文件hadoop-env.sh export JAVA_HOME=/opt/modules/jdk1.7.0_67 2. 配置core-site.xml dfs.defaultFS hdfs://hostname:8020 hadoop.tmp.dir /opt/modules/hadoop-2.5.0/data/tmp 配置hdfs-site.xml dfs.replication 3 配置yarn-s…

1.配置环境变量JDK配置 1.JDK安装 个人喜欢在 vi ~/.bash profile   下配置 export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91export PATH=$JAVA_HOME/bin:$PATH 当然要让环境变量生效source ~/.bash_profile echo $JAVA_HOME 在输入 java -verision,生效就装好了jdk 2.安装ssh 生成秘钥 ssh-keygen -t rsa 在将公钥复制到aut…

架构 NN--namenode SNN--secondnamenode DN--datanode hadoop_env.sh中修改JAVA_HOME core-site.xml <property><name>fs.defaultFS</name><value>hdfs://node1:9000</value></property><property><name>hadoop.tmp.dir</name&…

公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分布式集群的安装步骤及基本操作,包括:Hadoop HDFS的安装.配置.基本操作等内容. 参考文档 <Hadoop: Setting up a Single Node Cluster.> http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dis…

『实践』VirtualBox 5.1.18+Centos 6.8+hadoop 2.7.3搭建hadoop完全分布式集群及基于HDFS的网盘实现 1.基本设定和软件版本 主机名 ip 对应角色 master 192.168.56.4 NameNode slave1 192.168.56.3 DataNode1 slave2 192.168.56.5 DataNode2 Windows主机设置的ip为192.168.56.88 hadoop压缩包解压地址:/usr/local/hadoop 虚拟机…

原文地址  http://blog.sina.com.cn/s/blog_7060fb5a0101cson.html Hadoop HDFS分布式环境搭建 最近选择给大家介绍Hadoop HDFS系统,因此研究了一下如何在Linux 下配置一个HDFS Clust.小记一下,以备将来进一步研究和记忆. HDFS简介 全称 Hadoop Distributed File System, Hadoop分布式文件系统. 根据Google的GFS论文,由Doug Cutting使用JAVA开发的开源项目…