大数据问题汇总
     1.安装问题
        1.安装步骤,详见文档《centos虚拟机安装指南》
        2.vi编辑器使用问题,详见文档《linux常用命令.pdf》
        3.网络中继更改问题
        命令:   vi /etc/sysconfig/network-scripts/ifcfg-eth0
·········需要修改的代码
·········DEVICE=eth0
            HWADDR=00:0C:29:11:02:E8
            TYPE=Ethernet
            UUID=c1038317-21f4-4251-a68f-0962fd644cab
            NBOOT=yes
            NM_CONTROLLED=yes
            BOOTPROTO=static
            IPADDR=192.168.17.238
            GATEWAY=192.168.17.1
            NDS1=114.114.114.114
            IPV6INIT=NO
      安装步骤到此结束
 2.hadoop 环境配置问题
           1.修改主机名称
               命令:vi /etc/hosts
           2.配置java ,hadoop环境变量
              命令:vi/etc/prifile
#java
JAVA_HOME=/jdk1.7.0_79
JAVA_BIN=/jdk1.7.0_79/bin
PATH=$JAVA_HOME/bin:$PATH
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
#hadoop
export HADOOP_HOME=/home/hadoop-2.5.2
export PATH=$HADOOP_HOME/bin:$PATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=/home/hadoop-2.5.2/lib/native/
         生效     命令:. /etc/prifile
        3关闭放火枪
           service iptables stop
           chkconfig iptables off
           3.1修改配置文件
           vi  /etc/selinux/config
                   修改为:
                     SELINUX=disabled

4.ssh免密设置
         下载 ssh服务
            命令:yum -y install openssh-clients
         生成ssh密匙:
            ssh-keygen -t rsa
        进入根目录:命令: cd~;
         cd .ssh
          ls 查看文件
         将文件  id_rsa.hub 考入: 命令:cat id_rsa.pub  >>authorized_keys
         将 datanode节点上的 id_rsa.hub 考入 命令
         ssh datanode1 cat .ssh/id_rsa.pub >>authorized_keys
        将文件发送到datanode节点:   
                    [root@namenode ~]# scp authorized_keys datanode1:~/.ssh
       测试 ssh datanode1 免密登陆到datanode1主机
       至此 前期配置完成
         5 hadoop配置
         修改hadoop配置文件
         yarn-site.xml
         mapred-site.xml
         slaves hdfs-site.xml
         yarn-env.sh
         hadoop-env.sh
       详见《hadoop配置手册》
      配置环境测试:
               cd /home/hadoop-2.5.2/sbin
             输入 sh start-all.sh
            等待启动
           启动完毕后
       测试:
              输入 jps
                namenode 节点 显示:
                      8722 ResourceManager
                       11446 Jps
                        9371 DataNode
                       8812 NodeManager
                        9283 NameNode
              datanode1节点 输入 jps
                        显示:
                    5694 Jps
                    2867 NodeManager
                    2782 DataNode
             则基本配置成功
            测试计算 pi
       cd /home/hadoop-2.5.2/share/hadoop/mapreduce   
          命令  [root@namenode mapreduce]# hadoop jar hadoop-mapreduce-examples-2.5.2.jar pi 2 5   
          回车

虚拟机CentOs的安装及大数据的环境搭建的更多相关文章

  1. windows下大数据开发环境搭建(1)——Java环境搭建

    一.Java 8下载 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载之后 ...

  2. windows下大数据开发环境搭建(2)——Hadoop环境搭建

    一.所需环境 ·Java 8 二.Hadoop下载 http://hadoop.apache.org/releases.html 三.配置环境变量 HADOOP_HOME: C:\hadoop- Pa ...

  3. windows下大数据开发环境搭建(4)——Spark环境搭建

    一.所需环境 · Java 8 · Python 2.6+ · Scala · Hadoop 2.7+ 二.Spark下载与解压 http://spark.apache.org/downloads.h ...

  4. windows下大数据开发环境搭建(3)——Scala环境搭建

    一.所需环境 ·Java 8   二.下载Scala https://www.scala-lang.org/download/ 三.配置环境变量 SCALA_HOME: C:\scala Path: ...

  5. 大数据_zookeeper环境搭建中的几个坑

    文章目录 [] Zookeeper简介 关于zk的介绍, zk的paxos算法, 网上已经有各位大神在写了, 本文主要写我在搭建过程中的几个极有可能遇到的坑. Zookeeper部署中的坑 坑之一 E ...

  6. 大数据学习环境搭建(CentOS6.9+Hadoop2.7.3+Hive1.2.1+Hbase1.3.1+Spark2.1.1)

    node1 192.168.1.11 node2 192.168.1.12 node3 192.168.1.13 备注 NameNode Hadoop Y Y 高可用 DateNode Y Y Y R ...

  7. windows下大数据开发环境搭建(1)——Hadoop环境搭建

    所需环境 jdk 8 Hadoop下载 http://hadoop.apache.org/releases.html 配置环境变量 HADOOP_HOME: C:\hadoop-2.7.7 Path: ...

  8. CentOS6安装各种大数据软件 第九章:Hue大数据可视化工具安装和配置

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

  9. CentOS6安装各种大数据软件 第三章:Linux基础软件的安装

    相关文章链接 CentOS6安装各种大数据软件 第一章:各个软件版本介绍 CentOS6安装各种大数据软件 第二章:Linux各个软件启动命令 CentOS6安装各种大数据软件 第三章:Linux基础 ...

随机推荐

  1. TableView下拉刷新崩溃解决办法

    return cell;上边加判断 if(self.dataArray.count<1){ return cell; }

  2. gRPC的.netClient客户端第一次连接出现StatusCode=Unavailable的解决办法?

    1.问题还原: The service does not automatically connect, free after a period of time, the first call will ...

  3. linux C程序中获取shell脚本输出(如获取system命令输出)

    转载自 http://blog.csdn.net/hjxhjh/article/details/7909518 1. 前言 Unix 界有一句名言:“一行shell脚本胜过万行C程序”,虽然这句话有些 ...

  4. 包含了重复的“Content”项。.NET SDK 默认包含你项目目录中的“Content”项。可从项目文件中删除这些项;如果希望将其显式包含在项目文件中,可将“EnableDefaultContentItems”属性设置为“false”

    从.netcore 1.1 升级到2.0时遇到该问题. 参考http://www.cnblogs.com/xishuai/p/visual-studio-for-mac.html 根据提示可知(我是看 ...

  5. 9.29 h5日记

    1.CSS中哪些属性可以继承? font系列 text系列 color line-height 2.border-radius的值 值的顺序是左上 右上 右下 左下 则 border-radius:5 ...

  6. react-router4 第一篇

    无奈,英语4级没过,只能靠猜了.. 首先就是安装了 npm install --save-dev react npm install --save-dev react-dom npm install ...

  7. Django权限系统auth

    auth模块是Django提供的标准权限管理系统,可以提供用户身份认证, 用户组和权限管理. auth可以和admin模块配合使用, 快速建立网站的管理系统. 在INSTALLED_APPS中添加'd ...

  8. java.lang.AbstractMethodError: javax.servlet.jsp.JspFactory.getJspApplicationContext(Ljavax/servlet/ServletContext;)Ljavax/servlet/jsp/JspApplicationContext;

    在Tomcat下部署应用时会报这个错误,参考以下这篇博客:http://blog.csdn.net/robinsonmhj/article/details/37653189,删除Tomcat目录下we ...

  9. 爬虫初窥day1:urllib

    模拟“豆瓣”网站的用户登录 # coding:utf-8 import urllib url = 'https://www.douban.com/' data = urllib.parse.urlen ...

  10. maven web+spring mvc项目没有出现src/main/java路径

    直接在main 文件夹下创建java可以解决 https://www.cnblogs.com/zhujiabin/p/6343462.html