安装hadoop多节点 各种整理

ubuntu烧制usb启动盘链接：

点击打开链接https://help.ubuntu.com/community/Installation/FromUSBStick

ubuntu磁盘分区：

点击打开链接https://help.ubuntu.com/community/DiskSpace

常用的有：

/                            #必选项，minimum 8 GB, at least 15 GB recommended

swap                   #必选项，内存大小的1-2倍

/boot                   #可选项，当硬盘比较大(>100G)时，大小在250MB ~ 1GB之间即可，至于为什么要加这个，参考non-GPT / GPT 的区别。

/home                #可选项，当你的硬盘足够大的时候，搞一个单独的home分区可以把用户数据和system分开，这样清晰一点。

Vsftpd install:

# Allow anonymous FTP? (Beware - allowed by default if you comment this out).

anonymous_enable=NO

# Uncomment this to allow local users to log in.

local_enable=YES

#

# Uncomment this to enable any form of FTP write command.

write_enable=YES

# You may restrict local users to their home directories.  See the FAQ for

# the possible risks in this before using chroot_local_user or

# chroot_list_enable below.

chroot_local_user=NO

SSH install:

openssh是开源的SSH，用的比较普遍。

不管master还是slave，openssh-server & openssh-client都要装。

不管master还是slave，

#on master:
ssh-keygen -t rsa -P ‘’
ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@slave
#on slave:
ssh-keygen -t rsa -P ‘’
ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@master
#这是为了让不管是master to slave ，还是 slave to master ，无密码SSH登录都能工作

SSH无密码登录就是嫌弃每次都要输密码，而且有些cronjob自动化跑的，每次都要输密码就不现实了。

张三有李四的帐号密码，但是张三不想每次都输密码，所以他生成了一对公私钥，把那个公钥给了李四，并且告诉李四以后用公钥通信，李四那里可能已经有了很多别人的公钥，所以李四把包括张三给的公钥在内都放在authorized_keys这里统一记录。

从此张三咱也不用每次登录都输一次密码了，而且说到底张三就是在拿自己的私钥和放在李四那里的公钥在通信，他觉得很安心。

反过来有一天李四有了张三的帐号密码，他想这么干的话，也要这么来一遍。

点击打开链接http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/