异常提示端口号被占用 查找被占用的端口 netstat -tln netstat -tln | grep 8083 netstat -tln ## 查看端口使用情况,而netstat -tln | grep 8088 则是只查看端口8088的使用情况 查看端口属于哪个程序?端口被哪个进程占用 lsof -i :8083 杀掉占用端口的进程 kill -9 进程id

hadoop集群规划 目标:创建2个NameNode,做高可用,一个NameNode挂掉,另一个能够启动:一个运行Yarn,3台DataNode,3台Zookeeper集群,做高可用. 在 hadoop2中通常由两个NameNode组成,一个处于active状态,另一个处于standby状态.Active NameNode对外提供服务,而Standby NameNode则不对外提供服务,仅同步active namenode的状态,以便能够在它失败时快速进行切换. 这里还配置了一个zookeepe

hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA.YARN等. 注意:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库,所以如果在64位的操作上安装hadoop-2.2.0就需要重新在64操作系统上重新编译 1.修改Linux主机名2.修改IP3.修改主机名和IP的映射关系 ######注意######如果你们公司是租用的服务器或是使用的云主机(如华为用主机.阿里云主机等) /etc/hosts里面要配置

配置IP,修改主机名,关闭防火墙,配置SSH免密码登录

在Hadoop1(版本<=0.22)中,由于NameNode和JobTracker存在单点中,这制约了hadoop的发展,当集群规模超过2000台时,NameNode和JobTracker已经不堪重负.于是,全新架构的hadoop2(版本>=0.23)诞生了,可以支持分布式NameNode.NameNode HA(NameNode High Available),实现了NameNode的横向扩展,使得集群规模最大可支持上万个节点. 一.Hadoop2介绍 1.Hadoop1局限性  NameN

1.在第2个个节点上重复http://www.cnblogs.com/littlesuccess/p/3361497.html文章中的第1-5步 2.修改第1个节点上的hdfs-site.xml中的配置份数为3 [root@server-305 ~]# vim /opt/hadoop/etc/hadoop/hdfs-site.xml <property> <name>dfs.replication</name> <value>3</value>

一:准备工作 1.步骤 1)hadoop ->下载解压 ->修改配置文件 ->hadoop-env JAVA_HOME ->core-site fs.defaultFS hadoop.tmp.dir ->hdfs-site dfs.replication permission ->mapred-site mapreduce.frame.work historyserver ->yarn-site mapreduce->shuffle resourcemana

yum install gcc yum install gcc-c++ yum install make yum install autoconfautomake libtool cmake yum install ncurses-devel yum install openssl-devel groupadd hadoop  添加一个组 useradd hadoop -g hadoop  添加用户 安装protoc(需用root用户) 1 tar -xvf protobuf-2.5.0.tar

一.环境配置 安装虚拟机vmware,并在该虚拟机机中安装CentOS 6.4: 修改hostname(修改配置文件/etc/sysconfig/network中的HOSTNAME=hadoop),修改IP到主机名的映射(vi /etc/hosts ,添加 127.0.0.1   hadoop); 按照JDK,下载jdk1.7.0_60并解压到/soft目录中,然后在/etc/profile中添加  export JAVA_HOME=/soft/jdk1.7.0_60 和 export PATH

集群容错就是HA.这次顺带也练一下hadoop的HA 环境: centos6.5+jdk1.7+hadoop2.2.0+tachyon0.5.0+zookeeper3.4.6 hadoop 192.168.1.107 slave1 192.168.1.108 slave2 192.168.1.109 (全虚拟机) 1. 在三台机器上安装jdk,关闭SELINUX,关闭防火墙,配置SSH免密码登陆(hadoop到其他机器上的和slave1到其他机器上的),修改 hosts文件 ... ... 2.

/etc/sysconfig/network换成你在hosts里设置的值 /etc/rc.d/init.d/network restart 重启网络 hostname后就会发现hostname变了,也就能format了,注意需要集群所有的都做同样的动作. 只要在yarn-site.xml中,配置正确resourcemanager地址就行,这个地址可以用host或者ip 另外,HOSTNAME不用刻意设置,hadoop自动会从/etc/hosts中读取host name,如果HOSTNAME也设置

在安装hadoop集群之前,需要先进行zookeeper的安装,请参照hadoop集群环境搭建之zookeeper集群的安装部署 1 将hadoop安装包解压到 /itcast/  (如果没有这个目录可以先自行创建之) tar -zxvf hadoop-2.6.4.tar.gz -C /itcast 2 配置HDFS(hadoop2所有的配置文件都在$HADOOP_HOME/etc/hadoop目录下) 2.1将hadoop添加到环境变量中,可以在一台机器上添加,然后发送给其他节点 vim /e

hadoop2.2.0 ha集群搭建 使用的文件如下:    jdk-6u45-linux-x64.bin    hadoop-2.2.0.x86_64.tar    zookeeper-3.4.5.tar.gz    hbase-0.96.2-hadoop2-bin.tar    使用WinSCP工具将上述文件复制到linux的根目录的cloud文件夹下 文件所在路径为:    /cloud/jdk-6u45-linux-x64.bin    /cloud/hadoop-2.2.0.x86_6

前段时间在dataguru上报了一个hadoop的培训班,希望能够帮助自己更快的了解.掌握并且熟悉hadoop的开发和原理. 上一期的作业是要自己搭建一个hadoop的环境,并能运行mapreduce,我们公司的实验室中已经在10台机器上搭建了用来测试的hadoop环境,于是我利用了其中三台datanode,新建了一个帐号,又搭建了一个由三台服务器组成的小型的hadoop+HA+完全分布式的集群. 现在将搭建的过程写成博客,希望能帮助到有同样需求的朋友! 我这里用到的三台机器,主机名分别为ut0

一:准备Linux环境[安装略]        a.修改主机名                vim /etc/sysconfig/network                NETWORKING=yes                HOSTNAME=kevin1         b.修改IP(通过修改配置文件)                 vim /etc/sysconfig/network-scripts/ifcfg-eth0                             

配置双namenode的目的就是为了防错,防止一个namenode挂掉数据丢失,具体原理本文不详细讲解,这里只说明具体的安装过程. Hadoop HA的搭建是基于Zookeeper的,关于Zookeeper的搭建可以查看这里hadoop.zookeeper.hbase.spark集群环境搭建,本文可以看做是这篇文章的补充.这里讲一下Hadoop配置安装. 配置Hadoop文件 需要修改的配置文件在$HADOOP_HOME/etc/hadoop目录下面,具体修改内容如下: core-site.xm

Hadoop 服务划分 使用三台节点,集群部署规划如下 服务\主机 hadoop1 hadoop2 hadoop3 HDFS NameNode DataNode DataNode SecondaryNameNode DataNode YARN NodeManager ResourceManager NodeManager NodeManager IP地址规划 hadoop1 192.168.123.11 hadoop2 192.168.123.12 hadoop3 192.168.123.13

Oozie的功能模块 workflow 由多个工作单元组成 工作单元之间有依赖关系 MR1->MR2->MR3->result hadoop jar:提交1个MR oozie:监控当前工作单元状态,完成之后自动提交下一个工作单元scheduler crontab:是linux简单调度脚本 定时调度工作单元 模块:1) workflow:定义工作流程:顺序执行流程节点,支持fork(分支多个节点),join(合并多个节点为一个) 2) Coordinator:协调器,调度工作流程,只能定义

Spark Core面试篇01 随着Spark技术在企业中应用越来越广泛,Spark成为大数据开发必须掌握的技能.前期分享了很多关于Spark的学习视频和文章,为了进一步巩固和掌握Spark,在原有spark专刊基础上,新增<Spark面试2000题>专刊,题集包含基础概念.原理.编码开发.性能调优.运维.源代码以及Spark周边生态系统等.部分题集来源于互联网,由梅峰谷志愿者收集和整理,部分题集由梅峰谷志愿者结合生产实际碰到的问题设计出来,希望能给大家带来帮助. 一.简答题 1.Spark

1.海量日志数据,提取出某日访问百度次数最多的那个IP. 解决方案:首先是将这一天,并且是访问百度的日志中的IP取出来,逐个写入到一个大文件中.注意到IP是32位的,最多有个2^32个IP.同样可以采用映射的方法,比如模1000,把整个大文件映射为1000个小文件,再找出每个小文中出现频率最大的IP(可以采用hash_map进行频率统计,然后再找出频率最大的几个)及相应的频率.然后再在这1000个最大的IP中,找出那个频率最大的IP,即为所求. 2.搜索引擎会通过日志文件把用户每次检索使用的所有

Hadoop生态圈-Oozie实战之调度shell脚本 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客展示案例:使用Oozie调度Shell脚本. 1>.解压官方案例模板 [root@s101 oozie--cdh5.3.6]# ll total drwxr-xr-x Jul bin drwxr-xr-x Sep : conf drwxr-xr-x Jul docs drwxr-xr-x Jul hadooplibs drwxr-xr-x Jul lib drwxr-