mac osx 系统 brew install hadoop 安装指南

mac osx 系统 brew  install hadoop 安装指南

 

1. brew install hadoop
2. 配置 core-site.xml:配置hdfs文件地址（记得chmod 对应文件夹，否则无法正常启动hdfs）和namenode的rpc通行端口
3. 配置mapred-site.xml  中的map reduce通信端口
4. 配置hdfs-site.xml 中的datanode 副本数。
5. 格式化hdfs文件系统
6. 启动Hadoop 和 yarn  namenode  datanode  mapred , 即：运行 start_all.sh
7. （可选）在hdfs中创建当前用户的地址：  hadoop fs -mkdir -p /user/fan
8. 开工，web ui 地址默认为：http://localhost:50070。

 

 

遇到的问题：

一， 如在hdfs -put ~/file  fileonhdfs 时， 出现error：WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir

          原因是：

1. core-site.xml中设置的文件系统已满，需重新设置，并再次-format。
2. core-site.xml中设置的hdfs文件系统所在文件夹需要chmod 777

 

二， 如在hadoop fs -ls . 命令时出现： ls: '.': No such file or directory'

1. 请执行：
   hadoop fs -mkdir -p /user/[current login user]

 

 

 

配置文件demo：

 

配置core-site.xml、hdfs-site.xml、mapred-site.xml

* core-site.xml:

Xml代码  

1. <configuration>
2. <property>
3. <name>hadoop.tmp.dir</name>
4. <value>/usr/local/tmp/hadoop/hadoop-${user.name}</value>
5. <description>A base for other temporary directories.</description>
6. </property>
7. <property>
8. <name>fs.default.name</name>
9. <value>hdfs://localhost:8020</value>
10. </property>
11. </configuration>

* hdfs-site.xml:

Xml代码  

1. <configuration>
2. <property>
3. <name>dfs.replication</name>
4. <value>1</value>
5. </property>
6. </configuration>

* mapred-site.xml:

Xml代码  

1. <configuration>
2. <property>
3. <name>mapred.job.tracker</name>
4. <value>localhost:8021</value>
5. </property>
6. <property>
7. </configuration>

其实这些都是基本配置， 网上一大把。配置的值的说明可以参考这3个地址：

 写道

http://hadoop.apache.org/common/docs/r0.20.2/core-default.html
http://hadoop.apache.org/common/docs/r0.20.2/hdfs-default.html
http://hadoop.apache.org/common/docs/r0.20.0/mapred-default.html

2.3）格式化hadoop的文件系统hdfs。 执行命令 hadoop namenode -format