1.准备 四台虚拟机 ①卸载openjdk ②安装jdk 2. 配置静态ip: ip : 每个机器在internet上的唯一标识 子网掩码: 必须结合IP地址一起使用,将某个IP地址划分成网络地址和主机地址两部分. 网关 : 网关既可以用于广域网互连,也可以用于局域网互连. 网关是一种充当转换重任的计算机系统或设备 DNS : 它作为可以将域名和IP地址相互映射的一个分布式数据库,能够使人更方便的访问互联网,而不用去记住能够被机器直接读取的IP数串.  ①进入/etc/sysconfig/net…

节点的服役和退役(hdfs)---------------------- 黑白名单的组合情况-------------------------include //dfs.includeexclude //dfs.hosts.include 白名单   黑名单 include  exclude  Interpretation No         No 不能连接No  Yes 不能连接Yes    No 可以连接Yes   Yes 可以连接,将会退役状态. [服役] [添加新节点] 1.在dfs.…

注意:黑白名单只出现在名称(nn)节点<!-- 白名单 --><property><name>dfs.hosts</name>/Users/yangyanqing/文档/hadoop添加新节点+退役旧节点.txt<value></value><description>包含允许连接nn的主机名列表(文件名),必须是绝对路径,如果为空,所有主机都可以连接</description></property>…

linux hadoop安装 本文介绍如何在Linux下安装伪分布式的hadoop开发环境. 在一开始想利用cgywin在 windows下在哪, 但是一直卡在ssh的安装上.所以最后换位虚拟机+ubuntu安装. 选择的版本是hadoop 2.7.2 安装步骤虽然简单,但是中间遇到的小问题还是比较多的,总结下安装hadoop主要分为3大部: 安装ssh 安装 jdk 安装hadoop 安装ssh sudo apt-get install ssh mkdir /home/user/.ssh cd…

Hadoop基础-Hadoop的集群管理之服役和退役 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 在实际生产环境中,如果是上千万规模的集群,难免一个一个月会有那么几台服务器出点故障,在IDE机房这种事情几乎每个星期都会有那么几起事故发生,比如服务器断电,磁盘过慢,网络不同,核心路由故障,接入层交换机故障,在严重点就是一些二级运营商出口被攻击导致网络拥堵等等.刚刚说的这些事件都是我在实际工作中遇到的一些现象,因此,在大规模集群部署上,尤其是大数据,存储的都是海量数据,甚至可以…

文章更新于:2020-3-24 按照惯例,需要的文件附上链接放在文首 文件名:Java SE Development Kit 8u241 文件大小:72 MB+ 下载链接:https://www.oracle.com/java/technologies/javase-jdk8-downloads.html SHA256:不同文件hash不同,请在上方网址中自行查看. 文件名:hadoop-3.2.1.tar.gz 文件大小:243MB 下载链接:https://mirrors.tuna.tsin…

配置ssh免密码登录   1) 验证是否安装ssh:ssh -version显示如下的话则成功安装了OpenSSH_6.2p2 Ubuntu-6ubuntu0.1, OpenSSL 1.0.1e 11 Feb 2013Bad escape character 'rsion'.否则安装ssh:sudo apt-get install ssh 2)ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa解释一下,ssh-keygen代表生成密钥;-t(注意区分大小写)表示指定…

原文 http://www.powerxing.com/install-hadoop/ 当开始着手实践 Hadoop 时,安装 Hadoop 往往会成为新手的一道门槛.尽管安装其实很简单,书上有写到,官方网站也有 Hadoop 安装配置教程,但由于对 Linux 环境不熟悉,书上跟官网上简略的安装步骤新手往往 Hold 不住.加上网上不少教程也甚是坑,导致新手折腾老几天愣是没装好,很是打击学习热情. 本教程适合于原生 Hadoop 2,包括 Hadoop 2.6.0, Hadoop 2.7.1…

pre.ctl { font-family: "Liberation Mono", monospace } p { margin-bottom: 0.25cm; line-height: 120% } 环境: Ubuntu16.04 机器: 192.168.1.105 namenode 192.168.1.102 datanode1 0.配置节点信息 sudo gedit /etc/hosts #加入下面的信息 192.168.1.105 namenode 192.168.1.102…

ubuntu安装(这里我就不一一捉图了,只引用一个网址, 相信大家能力) ubuntu安装参考教程:  http://jingyan.baidu.com/article/14bd256e0ca52ebb6d26129c.html 注意下面几点: 1.设置虚拟机的IP, 点击虚拟机的右下角网络连接图标, 选择”桥接模式“, 这样才能分配到你的局域网IP, 这个很重要因为后面hadoop要用到局域网. 2.在ubuntu里面查看ip的命令:ifconfig可以显示出你的IP地址, 看一下IP是否为你…