Hadoop启动之后,遇到一个奇怪的问题: VMware虚拟机中Hadoop服务的端口50070无法访问的问题---通过127.0.0.1:50070.localhost:50070.主机名:50070均可访问,唯独IP:50070不能访问到. 通过查找日志:发现datanode的日志中提示:访问MasterNameNode:8020不能访问. 排查步骤: 1.首先,各个虚拟机和客户端之间都能ping通,虚拟机都能上外网,说明网络没有问题. 2.各个虚拟机自己的防火墙已经关闭. 3.是不是端口有…

今天安装了一个hadoop集群,因为已经在单个虚拟机上安装成功,所以初期安装相对顺利. 初始环境如下:       通过Vmware Esxi服务器虚拟机出来四台机器,每台机器的网络配置如下:        master:10.10.50.241        node1:10.10.50.242        node2:10.10.50.243        node3:10.10.50.244   本机笔记本电脑:10.10.50.239(模拟远端访问控制).   问题描述: Hadoop…

hadoop系统部署时用到不少端口.有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的.实际系统中可能用于防火墙的端口设计.一些内部通信用的端口可能也需要外部能访问.如两个集群的数据对拷. 1.系统 8080,80 用于tomcat和apache的端口. 22 ssh的端口 2.Web UI 用于访问和监控Hadoop系统运行状态 Daemon 缺省端口 配置参数 HDFS Namenode 50070 dfs.http.address Datanodes 50075 dfs…

原文:http://www.tuicool.com/articles/BB3eArJ hadoop系统部署时用到不少端口.有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的.实际系统中可能用于防火墙的端口设计.一些内部通信用的端口可能也需要外部能访问.如两个集群的数据对拷. 1.系统 8080,80 用于tomcat和apache的端口. 22 ssh的端口 2.Web UI 用于访问和监控Hadoop系统运行状态 Daemon 缺省端口 配置参数 HDFS Namenode…

…

以下均为默认端口号,可根据配置文件修改:HDFS:50070yarn:8088Hive:10002HBase:60010Spark:8080Flink:8081Storm:8080…

Hadoop端口一览表 @(Hadoop) 端口名 用途 50070 Hadoop Namenode UI端口 50075 Hadoop Datanode UI端口 50090 Hadoop SecondaryNamenode 端口 50030 JobTracker监控端口 50060 TaskTrackers端口 8088 Yarn任务监控端口 60010 Hbase HMaster监控UI端口 60030 Hbase HRegionServer端口 8080 Spark监控UI端口 4040…

现将博客搬家至CSDN,博主改去CSDN玩玩~ 传送门:http://blog.csdn.net/sinat_28177969/article/details/54138163 Ps:主要答疑区在本帖最下方,疑点会标注出来.个人在配置过程中遇到的困难都会此列举. 实验介绍: 本次实验主要介绍了Hadoop平台的两个核心工具,HDFS和Mapreduce,结合这两个核心在Linux下搭建基于YARN集群的全分布模式的Hadoop架构. 实验案例,基于Hadoop平台下的Wordcount分词统计的…

1.zybo cluster 架构简述: 1.1 zybo cluster 包含5块zybo 开发板组成一个集群,zybo的boot文件为digilent zybo reference design提供的启动文件,文件系统采用arm ubuntu.ip地址自上而下为192.168.1.1~5,hostname自上而下为spark1~5,另外由于sdka写入速度为2.3Mps,因而每个zybo卡另外配置一个Sandisk Cruzer Blade 32GB 作为usb拓展存储设备,写速度为4Mps…

detailed http://wenku.baidu.com/view/c2d1ebb4ba0d4a7302763a84.html http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html  old 最新的hadoop2.5 安装目录做了一定修改,安装变得稍微简单一点 首先安装准备工具 $ sudo apt-get install ssh $ sudo apt-get install rsync 配置ssh $ ssh localho…

第一部分:Hadoop 在windows 上伪分布式的安装过程 安装JDK 1.下载JDK        http://www.oracle.com/technetwork/java/javaee/downloads/java-ee-sdk-6u3-jdk-6u29-downloads-523388.html 2.解压    或者直接运行.exe安装 后面根据项目的实际需要来进行调整. 安装 Cygwin 1.下载Cygwin     网址: http://www.cygwin.com/setu…

前期工作 我的Eclipse是安装在Windows下的,通过Eclipse执行程序连接Hadoop, 需要让虚拟机的访问地址和本机的访问地址保持在同一域内,虚拟机的地址更改前面的文章介绍过了,如果想改windows本机ip地址,打开“网络和共享中 心“,点击左侧菜单”更改适配器设置“,选择相应连接网络进行IpV4属性地址修改即可.我虚拟机地址为192.168.3.137 准备工作 地址配置好之后,在Eclipse上要安装Hadoop的插件(你可以参考源码自行修改). 打开Eclipse安装路径-…

http://www.linuxidc.com/Linux/2012-10/71900p2.htm http://andy-ghg.iteye.com/blog/1165453 为Mac的MyEclipse配置Hadoop-eclipse插件使用MyEclipse对Hadoop进行开发,一定会用到hadoop-eclipse-plugin插件,目前最稳定的版本是1.0.3.现在Hadoop已经不提供编译好的hadoop-eclipse-plugin(***).jar文件,需要自己对其进行编译.如…

通过 搭建Hadoop集群 (二), 我们已经可以顺利运行自带的wordcount程序. 下面学习如何创建自己的Java应用, 放到Hadoop集群上运行, 并且可以通过debug来调试. 有多少种Debug方式 Hadoop在Eclipse上的Debug方式 一般来说, Debug最多的应用场景是调试MR中的代码逻辑, 还有部分是调试main方法中的某些代码逻辑. 无论是Standalone, Pesudo-Distributed, 还是Fully-Distributed Mode, 都可以d…

Hadoop-集群网络配置 总体目标:完成zookeeper+Hadoop+Hbase 整合平台搭建   进度:1:集群网络属性配置2:集群免密码登陆配置3:JDK的安装4:Zookeeper的安装5:Hadoop普通集群模式的安装6:Hbase普通模式的安装7:Hadoop HA集群模式的安装 8:Hbase HA集群模式的安装 一. 集群网络属性配置 环境:1.五台独立PC机或虚拟机          2.主机之间有有效的网络连接       3.每台主机内存2G以上,磁盘50G      …

集群中有一台datanode一直启动报错如下: java.net.BindException: Problem binding to [$server1:50020] java.net.BindException: Address already in use; For more details see: http://wiki.apache.org/hadoop/BindException 查看端口是否被占用 # netstat -tnlp|grep 50020 发现没有进程在监听50020端…

1.把数据仓库从传统关系数据库转到hadoop有什么优势? 原关系存储方式昂贵 空间有限 hadoop支持结构化(例如 RDBMS),非结构化(例如 images,PDF,docs )和半结构化(例如 logs,XMLs)的数据可以以可扩展和容错的方式存储在较便宜的商品机器中. 可以通过批处理作业和近实时(即,NRT,200 毫秒至 2 秒)流(例如 Flume 和 Kafka)来摄取数据. 数据可以使用诸如 Spark 和 Impala 之类的工具以低延迟(即低于 100 毫秒)的能力查询.…

Hadoop生态和其他生态最大的不同之一就是“单一平台多种应用”的理念了. hadoop能解决是什么问题: 1.HDFS :海量数据存储 MapReduce: 海量数据分析   YARN :资源管理调度 理解: 1.资源管理调度(YARN)通过海量数据分析(MapReduce)进行对海量数据(HDFS)进行分析运算.  其中MapReduce是通过开发人员进行开发利用. 2.Hadoop在2.0将资源管理从MapReduce中独立出来变成通用框架后,就从1.0的三层结构演变为了现在的四层架构:…

当Hadoop集群的某单个节点出现问题时,一般不必重启整个系统,只须重启这个节点,它会自动连入整个集群. 在坏死的节点上输入如下命令即可: hadoop-daemon.sh start datanode hadoop-daemon.sh start secondarynamenode 案例如下: hadoop节点死机,能ping通,ssh连接不上 案例: 时间:2014/9/11 上午 表现:hadoop的web界面上TC-hadoop018节点dead 症状:节点TC-hadoop018的ss…

最近在学习hadoop,自己下了个视频教程,他的教学版本是hadoop0.20.2版本,现在的最新版本都到了3.0了,版本虽然有点老,但是还是学了一下,觉得有借鉴的价值. 不废话了,开始介绍: 先说一下环境:ubuntu14.04,其中要装上ssh open-server服务,装上jdk环境. 伪分布式模式安装和配置步骤如下图: 详细步骤 1 首先把文件导入linux系统(我用的ubuntu虚拟机,hadoop-0.20.2.tar.gz安装包放在了桌桌面).首先把这个安装包放在/opt目录下,…

我的eclipse是在win7上,hadoop在win7里的虚拟机里的ubuntu上,为了方便起见,想在eclipse上安装hadoop的插件,主要参考 https://my.oschina.net/muou/blog/408543,上面写得蛮详细的,对于里面提到的问题二,提供下载的 hadoop.dll 不适用于 hadoop2.6,需要使用 http://www.cnblogs.com/longshiyVip/p/4805418.html 这里提供的hadoop.dll.对于提到的问题四,按…

假设你制作了个docker的 hadoop的镜像,镜像名叫 hd_image,如果想在外网的浏览器中访问hadoop的50070和8088端口,则在启动镜像hd_image时, 脚本如下: docker run -d -it -h aaaaa -p -p --name bbbbb hd_image --name bbbbb,表示这个容器的名字是bbbbb. -h aaaaa,表示容器内的主机名为aaaaa. -d ,表示detach模式. -p 50070 -p 8088,表示将这个容器的端口5…

1.独立模式(standalone|local) nothing! 本地文件系统. 不需要启用单独进程. 2.pesudo(伪分布模式) 等同于完全分布式,只有一个节点. SSH: //(Socket), //public + private /server : sshd ps -Af | grep sshd //clint : ssh //ssh-keygen:生成公私秘钥. //authorized_keys 需要使用644 //ssh 192.168.231.201 yes [配置文件]…

1.使用hadoop是需要jdk环境的,因为hadoop里面有java程序,而运行java程序需要jdk. 2.从宿主机上传文件到虚拟机有很多方法,我选择的是在虚拟机安装lrzsz,安装lrzsz命令行:yum install -y lrzsz 3.确定好软件安装路径 /opt #工作目录 /opt/installed #安装包 /opt/software #软件包 /opt/other #其他 /opt/test #测试 4.上传软件包 cd /opt/installed rz #从宿主机下载…

之前用虚拟机搭建Hadoop集群(包括伪分布式和完全分布式:Hadoop之伪分布式安装),但是这样太消耗资源了,自学了Docker也来操练一把,用Docker来构建Hadoop集群,这里搭建的Hadoop主要服务于之前没有完成的项目:网站日志流量分析系统(该系统目前用虚拟机实现了离线分析模块,实时分析由于资源问题尚未完成,我想这次不担心了)考虑到阿里云ECS对于我个人来说,成本有点太高了,但是自从学了Dokcer以后,我再也不怕了,用这一台就够啦,哈哈哈哈……下面开始吧!安装过程较长,so pl…

一. 安装背景:VirtualBox下安装三台Centos6.8虚拟机(一主:master, 两从:slave1,slave2) Centos版本:CentOS-6.8-x86_64 网络配置:三台虚拟机配置静态IP,并配置主机名master,slave1,slave2 系统配置:安装JDK,增加hadoop用户(三台都需要) Hadoop安装包:hadoop-2.6.0-cdh5.6.0.tar.gz 无密码ssh:配置ssh无密码连接(master->slave1, master->sla…

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立java工程,导入hadoop2.2.0相关jar包 2.在src根目录下拷入log4j.properties,通过log4j查看详细日志 log4j.rootLogger=debug, stdout, R   log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.Pattern…

最近尝试这用用eclipse连接CDH的集群,由于之前尝试过很多次都没连上,有一次发现Cloudera Manager是将连接的端口修改了,所以才导致连接不上CDH的集群,之前Apache hadoop采用的端口是9000和9001,而Cloudera Manager采用的端口是8020端口,于是通过eclipse中的MapReduce选项卡,edit一个选项连接,发现连上了.这给我带来了一些意外. 在这里有一个问题需要说明一下,这个eclipse的插件我还是用的Apache hadoop的ha…

准备: 确保hadoop2.2.0集群正常运行 1.eclipse中建立mven工程,并编辑pom文件如下 <dependencies> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>-hadoop2</version> </dependency> <…

hadoop3与hadoop2.x的变化很大,hadoop3很多东西现在做起来太麻烦了,这里先安装hadoop2.7.3 此贴学习地址http://www.yiibai.com/t/mapreduce/article-14.html,不过有些改动 1.下载解压hadoop包 wget http://apache.claz.org/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz tar zxf hadoop-2.7.3.tar.gz mv hadoop…