Centos 7 配置单机Hadoop

Centos 7 配置单机Hadoop 2018年10月11日 09:48:13 GT_Stone 阅读数:82 系统镜像:CentuOS-7-x86_64-Everything-1708 Java环境:JDK-8u181-linux-x64.tar.gz Hadoop版本:hadoop-2.7.6.tar.gz 1.安装配置JDK,配置环境变量(路径很重要,我的路径是:/usr/local/java/jdk1.8.0_181) java环境的具体安装过程不做记录,下载好相应的压缩包,解压至…

1、大数据 Hadoop配置和单机Hadoop系统配置

#查看服务器ip ip add #设置主机名称 hostnamectl set-hostname master bash #查看 hostname #绑定ip vi /etc/hosts 添加服务器IP地址 master #查看ssh状态 systemctl status sshd active (running) #关闭防火墙 systemctl stop firewalld #查看防火墙状态 systemctl status firewalld #永久关闭防火墙 systemctl dis…

CentOS安装配置Hadoop 1.2.1（伪分布模式）

CentOS安装配置Hadoop1.2.1 1.下载安装文件下载2个安装文件 JAVA环境:jdk-6u21-linux-i586.bin Hadoop环境:hadoop-1.2.1.tar.gz 这里是把jdk安装在/root下,hadoop安装在/etc下面 2.安装jdk 这里jdk-6u21-linux-i586.bin放在/root下添加执行权限,并解包. [root@master ~]# cd /root [root@master root]# chmod 777 jdk-6u…

单机Hadoop搭建

通过一段时间的学习,我在我的centos上安装了单机hadoop,如果这对你有帮助,就进来探讨学习一下 Hadoop伪分布式配置 Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行,节点既作为 NameNode 也作为 DataNode,同时,读取的是 HDFS 中的文件. 伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml .Hadoop的配置文件是 xml 格式,每个配置以声明 property 的 nam…

基于CentOS与VmwareStation10搭建hadoop环境

基于CentOS与VmwareStation10搭建hadoop环境目录 1. 概述.... 1 1.1. 软件准备.... 1 1.2. 硬件准备.... 1 2. 安装与配置虚拟机.... 2 2.1. 创建虚拟机.... 2 2.1.1. 创建虚拟机节点1.. 2 2.1.2. 创建虚拟机节点2.. 4 2.1.3. 创建虚拟机节点3.. 4 2.2. 安装操作系统CentOS6.0.. 4 2.3. 安装JDK.. 5 2.3.1. 准备JDK.. 5 2.3.2. 上传JD…

在单机Hadoop上面增加Slave

之前的文章已经介绍了搭建单机Hadoop, HBase, Hive, Spark的方式:link 现在希望在单机的基础上,加一个slave. 首先需要加上信任关系,加信任关系的方式,见前一篇文章:link 把05和06这两台机器,分别和对方添加上信任关系. 把05上面的目录 /home/work/data/installed/hadoop-2.7.3/ 拷贝到06机器, 把 etc/hadoop 里面的 IP 10.117.146.12 都改成 11 然后06机器要安装 jumbo 和 Jav…

Mac配置本地hadoop

Mac配置本地hadoop 这学期要学习大数据,于是在自己的mac上配置了hadoop环境.由于Mac是OSX系统,所以配置方法跟Linux类似一.下载hadoop 从官网下载压缩包. $ll total 598424 -rwxrwxrwx@ 1 fanghao staff 292M 3 4 23:16 hadoop-3.0.0.tar.gz 解压 tar -xzvf hadoop-3.0.0.tar.gz 二.设置环境变量 vim ~/.bash_profile export HADOOP_…

单机Hadoop的安装与使用

第一步:安装操作系统并创建Hadoop用户 OS:RHEL6.5 [root@hadoop ~]# useradd hadoop [root@hadoop ~]# passwd hadoop 第二步:Java安装自带Java [root@hadoop ~]# java -version java version "1.7.0_45" OpenJDK Runtime Environment (rhel-2.4.3.3.el6-x86_64 u45-b15) OpenJDK 64-Bit…

Hadoop单机Hadoop测试环境搭建

Hadoop单机Hadoop测试环境搭建: 1. 安装jdk,并配置环境变量,配置ssh免密码登录 2. 下载安装包hadoop-2.7.3.tar.gz 3. 配置/etc/hosts 127.0.0.1 YARN001 4. 解压缩hadoop-2.7.3.tar.gtz到/home/zhangzhenghai/cluster目录下 5. 配置etc/hadoop/hadoop-env.sh 配置JAVA_HOME环境变量 export JAVA_HOME=/home/zhangzhengh…

CentOS7虚拟机配置、Hadoop搭建、wordCount DEMO运行

安装虚拟机最开始先安装虚拟机,我是12.5.7版本,如果要跟着我做的话,版本最好和我一致,不然后面可能会出一些莫名其妙的错误,下载链接如下(注册码也在里面了): 链接:https://pan.baidu.com/s/1qoqeKcgMsjFKPFQFBFP6lg 提取码:2aog 安装虚拟机直接下一步.下一步就好了,没什么可说的,安装好后,虚拟机询问是否更新,点不更新,更新了就改版本了. 配置虚拟机操作系统接下来开始配置虚拟机系统. 首先下载CentOS7的镜像,下载链接如下: 链接:ht…

Centos网络配置

网上搜索:centos网络配置的方法,主要包括dns.网关.IP地址,主要是配置resolv.conf\network\ifcfg-eth0这些网络配置文件. 稍后我会就centos7的网络配置进行实际操作. centos网络配置实例 1.配置DNS:vi /etc/resolv.conf加入: nameserver 192.168.0.1 nameserver 8.8.8.8 nameserver 8.8.4.4 2.配置网关: vi /etc/sysconfig/network加入:GATE…

阿里云服务器Linux CentOS安装配置（零）目录

阿里云服务器Linux CentOS安装配置(零)目录阿里云服务器Linux CentOS安装配置(一)购买阿里云服务器阿里云服务器Linux CentOS安装配置(二)yum安装svn 阿里云服务器Linux CentOS安装配置(三)yum安装mysql 阿里云服务器Linux CentOS安装配置(四)yum安装tomcat 阿里云服务器Linux CentOS安装配置(五)jetty配置.部署阿里云服务器Linux CentOS安装配置(六)resin多端口配置.安装.部署阿里云…

阿里云服务器Linux CentOS安装配置（九）shell编译、打包、部署

阿里云服务器Linux CentOS安装配置(九)shell编译.打包.部署 1.查询当前目录以及子目录下所有的java文件,并显示查询结果 find . -name *.java -type f -print 2.编译当前目录以及子目录下所有的java文件 find . -name *.java -type f -print -exec javac -sourcepath . {} \; 3.删除上面编译生成的class文件 find . -name *.class -type f -prin…

阿里云服务器Linux CentOS安装配置（八）nginx安装、配置、域名绑定

阿里云服务器Linux CentOS安装配置(八)nginx安装.配置.域名绑定 1.安装nginx yum -y install nginx 2.启动nginx service nginx start 3.访问(nginx默认是80端口) curl 127.0.0.1 4.域名子绑定编辑文件/etc/nginx/conf.d/default.conf,在底部加入下面代码,完成前几章所述4个端口的子域名绑定 server{ listen 80; server_name tomcat.bingz…

阿里云服务器Linux CentOS安装配置（七）域名解析

阿里云服务器Linux CentOS安装配置(七)域名解析 1.购买域名登录阿里云,左侧菜单点击[域名],然后[域名注册],完成域名购买.(一般首年45元) 2.添加域名解析在域名列表里点击你的域名,进入域名控制台如上图,点击[域名解析] 然后点击[添加解析],添加下面两项(有提示,很简单的) 3.ping测试 ping www.域名 ping 域名(没有www) 可能会两几分钟延迟,ping不通的话等两分钟再试试 4.下一章,使用nginx为云服务器上不同端口的服务配置不同的子域名…

阿里云服务器Linux CentOS安装配置（六）resin多端口配置、安装、部署

阿里云服务器Linux CentOS安装配置(六)resin多端口配置.安装.部署 1.下载resin包 http://125.39.66.162/files/2183000003E08525/caucho.com/download/resin-4.0.48.zip 2.解压 unzip resin-4.0.48.zip -d /etc/ 3.启动resin /etc/resin-4.0.48/bin/resin.sh start 4.访问测试 curl 127.0.0.1:8080 5.探索r…

阿里云服务器Linux CentOS安装配置（五）jetty配置、部署

阿里云服务器Linux CentOS安装配置(五)jetty配置.部署 1.官网下载jetty:wget http://repo1.maven.org/maven2/org/eclipse/jetty/jetty-distribution/9.2.17.v20160517/jetty-distribution-9.2.17.v20160517.zip 我用上面的命令下载速度太慢了,于是先下载到本地,再传到服务器的 2.解压:unzip jetty-distribution-9.2.17.v201…

阿里云服务器Linux CentOS安装配置（四）yum安装tomcat

阿里云服务器Linux CentOS安装配置(四)yum安装tomcat 1.yum -y install tomcat 执行命令后,会帮你把jdk也安装好 2.tomcat安装目录:/var/lib/tomcat/ 3.tomcat配置目录:/etc/tomcat/ 4.启动tomcat:service tomcat start 5.访问下:curl 127.0.0.1:8080(安装目录是个空文件夹,所以访问时,没有任何内容返回,这是正常的) 远程访问地址:http://ip:8080(i…

阿里云服务器Linux CentOS安装配置（三）yum安装mysql

阿里云服务器Linux CentOS安装配置(三)yum安装mysql 1.执行yum安装mysql命令:yum -y install mysql-server mysql-devel 2.启动mysql:service mysqld start 3.创建管理员:mysqladmin -u root password abc,123 4.连接测试:mysql -u root -p 5.show databases; 看看默认的库有哪些 6.新建一个库,并进入新建的库:create databas…

阿里云服务器Linux CentOS安装配置（二）yum安装svn

阿里云服务器Linux CentOS安装配置(二)yum安装svn 1.secureCRT连接服务器 2.先创建一个文件夹,用来按自己的习惯来,用来存放数据 mkdir /data 3.yum安装svn yum -y install subversion 4.创建svn版本库 mkdir /data/svndata 先创建一个文件夹 svnadmin create /data/svndata/llj 创建版本库 5.修改svn配置 cd /data/svndata/llj/conf 进入配…

阿里云服务器Linux CentOS安装配置（一）购买阿里云服务器

阿里云服务器Linux CentOS安装配置(一)购买阿里云服务器我在阿里云购买的服务器配置 CPU:1核内存:2G 系统盘:40G 公共镜像:CentOS 6.5 64位公网带宽:1Mbps 价格:108元/月系统运行参考 1个svn 1个mysql 1个tomcat部署了一个Java Web项目跑14802端口 1个jetty部署了一个Java Web项目跑14808端口 1个resin部署了两个Java Web项目跑了8080.14805两个端口 1个nginx 上面的服务运行良好…

centos 网络配置

centos 网络配置网络配置 -bash-4.1# setup #如果没有setup命令,可以yum install setuptool -y 也可以安装setup 命令 http://jingyan.baidu.com/album/25648fc1a303ce9191fd0032.html?picindex=2 -bash-4.1# yum install setuptool -y -bash-4.1# yum install ntsysv -y #安装系统服务管理 -bash-4…

centos vim配置高亮语法和格式化粘贴

centos vim配置高亮语法和格式化粘贴设置vim别名和高亮grep词语 echo -e "\nalias vi=vim\nalias grep='grep --color'\n" >>~/.bashrc && source ~/.bashrc vim高亮语法和格式化粘贴 echo -e "\n\nset nobomb set number set showmode set autoindent set smartindent set sho…

centos 防火墙配置

转载:http://www.cnblogs.com/bugs/p/3587915.html 1.安装iptables防火墙怎么知道系统是否安装了iptables?执行iptables -V,如果显示如: iptables v1.3.5 说明已经安装了iptables. 如果没有安装iptables需要先安装,执行: yum install iptables 在Linux中设置防火墙,以CentOS为例,打开iptables的配置文件: vi /etc/sysconfig/iptables 通过…

为CentOS 6 配置本地YUM源

在网上找了很多为CentOS 6配置本地YUM源的方法,其中有很多是与网络相关的,我只想配个自己用的,结果就发现这个方法比较简单实用,就转过来了. 环境:CentOS 6.0 默认的yum是以网络来安装的,在没有网络或者网速不佳的情况下,通过yum来安装软件是意见非常痛苦的事情.其实对于CentOS DVD来说,里面提供的软件就足以满足我们的需要了,而且DVD里的软件版本都是稳定版,下载速度还快,对于学习CentOS来说,将CentOS DVD作为默认yum源可以大大提高学习效率. 1.为DVD…