在master节点上的hadoop安装目录下 进入conf目录 配置hdfs-site.xml文件 添加节点如下: <property> <name>dfs.hosts.exclude</name> <value>home/hadoop/hadoop-0.20.2/conf/excludes</value> </property> 节点的值为excludes文件的路径 该文件的内容为要下架的节点的ip地址或者主机名,一行一个 完成配置…

一般namenode只格式化一次,重新格式化不仅会导致之前的数据都不可用,而且datanode也会无法启动.在datanode日志中会有类似如下的报错信息: java.io.IOException: Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode clusterID = CID-7f25bc20-e822-4b15-9063-4da48884cb60; datanode clusterID = CID-911d3bd8…

加入一个新的存储节点和删除一个计算节点需要刷新集群状态命令 方式1:静态添加datanode,停止namenode方式 1.停止namenode 2.修改slaves文件,并更新到各个节点3.启动namenode 4.执行hadoop balance命令.(此项为balance集群使用,如果只是添加节点,则此步骤不需要) ----------------------------------------- 方式2:动态添加datanode,不停namenode方式 1.修改slaves文件,添加需…

在不格式化原有系统盘的情况下,利用grub4dos+firadisk制作RamOS VHD Win7总结在不格式化原有系统盘的情况下,用grub4dos+firadisk安装WIN7到VHD,内存大的可以启动RamOS,步骤如下:1.工具:grub4dos,firadisk驱动包,bootice,苏博论坛prosen精简的32位WIN7_7658,WIN7或WIN7PE,WinContig软件,Ghost32.11.0.推荐内存大小≥8G.2.进入WIN7或WIN7PE,右击我的电脑→管理→磁盘…

VirtualBox搭建伪分布式模式:hadoop的下载与配置 VirtualBox搭建伪分布式模式:hadoop的下载与配置 由于个人机子略渣,无法部署XWindow环境,直接用的Shell来操作,想要用鼠标点击操作的出门转左不送- 1.hadoop的下载与解压 wget http://mirror.bit.edu.cn/apache/hadoop/common/stable2/hadoop-2.7.1.tar.gzmkdir /usr/hadooptar -xzvf hadoop-2.7.1…

简介与环境准备 hadoop的核心是分布式文件系统HDFS以及批处理计算MapReduce.近年,随着大数据.云计算.物联网的兴起,也极大的吸引了我的兴趣,看了网上很多文章,感觉还是云里雾里,很多不必要的配置都在入门教程出现.通过思考总结与相关教程,我想通过简单的方式传递给同样想入门hadoop的同学.其实,如果你有很好的Java基础,当你入门以后,你会感觉到hadoop其实也是很简单的,大数据无非就是数据量大,需要很多机器共同来完成存储工作,云计算无非就是多台机器一起运算. 操作建议:理论先了…

前言 前面只是大概介绍了一下Hadoop,现在就开始搭建集群了.我们下尝试一下搭建一个最简单的集群.之后为什么要这样搭建会慢慢的分享,先要看一下效果吧! 一.Hadoop的三种运行模式(启动模式) 1.1.单机模式(独立模式)(Local或Standalone  Mode) -默认情况下,Hadoop即处于该模式,用于开发和调式. -不对配置文件进行修改. -使用本地文件系统,而不是分布式文件系统. -Hadoop不会启动NameNode.DataNode.JobTracker.TaskTrac…

在使用 Linux 时,有时候会因为初始时磁盘空间分配估计不足,使用中需要将挂载点扩容的情况,这就需要我们挂载新的磁盘.但是如果我们在 Linux 运行过程中挂载磁盘, Linux 又不能在不重启的情况下自动识别,这时就需要我们使用下面的操作使 Linux 在不重启的情况下识别新挂载的磁盘. 首先,查看主机总线号,磁盘肯定是有总线连接着的: [root@localhost ~]# ls /sys/class/scsi_host/ host0 host1 host2 其次,重新扫描SCSI 总线来…

发生情况:      由于在学习hadoop,所以想快速搭建一个集群出来.所以直接在windows操作系统上用VMware安装了CentOS操作系统,配置好hadoop开发环境后,采用克隆功能,直接克隆出两个另外的虚拟机.      可是当我用ifconfig命令修改修改虚拟机ip地址的时候,告诉我eth0找不到.直接修改配置文件/etc/sysconfig/network-scripts/ifcfg-eth0,重启系统后,也没用.      用ifconfig查看才发现,没有eth0,只有et…

一.概述 用过虚拟机的都知道,如果在系统运行的时候去给虚拟机添加一块新设备,比如说硬盘,系统是读取不到这个新硬盘的,因为系统在启动的时候会去检测硬件设备.但是我们也可能会遇到这样的情况,比如正在运行比较重要的程序,这时候不想重启linux系统,又需要添加一块新硬盘,该怎么办呢?今儿个就遇到这个情况,vmware上添加新硬盘,系统不识别,于是百度了一番,有很多文章,不过大多都是要设置lvm的,鄙人比较懒,不想做那么复杂,终于找到了一篇文件讲述如何不重启的情况下添加新硬盘并识别出来,于是乎操作了一般…

众所周知,SATA和SCSI是支持热插拔的,但是新装了这类支持热插拔的驱动器,系统不会马上识别的,往往我们需要重启系统来识别,但是有另外一种方法可以很方面的让系统识别新的设备.作为系统管理员,需要了解的最有用内容是,在有热交换驱动器情况下,如何不重启系统就可以添加更多磁盘空间.假使不使用 /proc,您可以插入驱动器,但为了使系统识别新磁盘,必须随即重新引导系统.这里,可以用以下命令来使系统识别新的驱动器:# echo "scsi add-single-device w x y z"…

mysql在生产环境下有大量锁表,又不允许重启的情况下的处理办法 满头大汗的宅鸟该怎么办呢? mysql -u root -e "show processlist"|grep -i "Locked" >> locklist.txt; for line in awk '{print $1}' locklist.txt do echo "kill $line;">>lock_kill.sql done 不足之处,欢迎拍砖!…

今天做了一下undo隐藏参数的实验 在没有备份的情况下,删除正在使用的undo,然后关机 (本次使用的的oracle的隐藏参数,慎用!!!!!!!!!!!!!!) idle> select * from V$VERSION; BANNER ---------------------------------------------------------------- Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - 64bi…

近期集群空间有点紧张,总是操心空间不足而崩溃,近期扩容又不太现实,经与集群用户沟通发现:集群上存储了非常多没用的历史数据,能够删除,这样就能够通过一个crontab脚本每天生成集群空间使用报告,当使用量超过70%.80%是分别报警,并通知那些用户占用空间较大,预留当机冗余空间,这样就不须要时刻操心集群空间爆满了. [hdfs@hanagios48 root]$ more  /home/hdfs/dfsadmin_report.sh  #!/bin/bash source ~/.bash_prof…

转载自:http://blog.csdn.net/sunny05296/article/details/54089194 安装HBase时,要考虑选择正确的Hadoop版本,否则可能出现不兼容的情况. HBase各版本和Hadoop版本的支持情况,官方有相关说明,下面表格中: "S" = 支持 "X" = 不支持 "NT" = 未测试   HBase-0.94.x HBase-0.98.x (Support for Hadoop 1.1+ is…

一.前言 这篇算是类加载器的实战第五篇,前面几篇在这里,后续会持续写这方面的一些东西. 实战分析Tomcat的类加载器结构(使用Eclipse MAT验证) 还是Tomcat,关于类加载器的趣味实验 了不得,我可能发现了Jar 包冲突的秘密 重写类加载器,实现简单的热替换    进入正文,不知道你有没有这样的时候,在线上或者测试环境,报了个bug.这个 bug 可能是: 从数据库.redis取了些数据,做了一些运算后,没抛异常,但是就是结果不对 抛了个空指针异常,但是看代码,感觉没问题,是取出来…

一.前言 类加载器实战系列的第六篇(悄悄跟你说,这篇比较水),前面5篇在这里: 实战分析Tomcat的类加载器结构(使用Eclipse MAT验证) 还是Tomcat,关于类加载器的趣味实验 了不得,我可能发现了Jar 包冲突的秘密 重写类加载器,实现简单的热替换 @Java Web 程序员,我们一起给程序开个后门吧:让你在保留现场,服务不重启的情况下,执行我们的调试代码   最近事不算多,所以有点时间写博客,昨天写着写着,测试的同学反馈说有一个bug.我看了下服务端日志,空指针了: 下面会给出…

Hadoop使用Java进行文件修改删除操作 学习了:http://blog.csdn.net/menghuannvxia/article/details/44651061 学习了:http://blog.csdn.net/nodie/article/details/6411376 如果是部署在服务器上面的程序,可以不写地址: FileSystem fs = FileSystem.get(conf); String s = "/user/weblogic/mr/output/"; Pa…

实验目的 了解zookeeper的概念和原理 学会安装zookeeper集群并验证 掌握zookeeper命令使用 实验原理 1.Zookeeper介绍 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等.Zookeeper是hadoop的一个子项目. Zookeeper的核心是原子广播,这个机制保证了各个Server之间的同步.实现这个机制的协议叫做Zab协议.Zab协议有两种模式,它们分别是恢…

前提:此方法只是参考其它博客的一个记录,未经亲自验证 当在mysql客户端设置一些变量时提示如下报错: 于是想能否有办法在不重启的情况下设置这些只读变量,在网上搜索别人的博客后发现如下方法 1.命令行模式下 gdb -p $(pidof mysqld) -ex "set log_error=/path/to/XXX" -batch 2.mysql客户端模式下 system gdb -p $(pidof mysqld) -ex "set log_error=/path/to/X…

前言 这篇其实是对一年前的一篇文章的补坑. @Java Web 程序员,我们一起给程序开个后门吧:让你在保留现场,服务不重启的情况下,执行我们的调试代码 当时,就是在spring mvc应用里定义一个api,然后api里,进行如下定义: /** * 远程debug,读取参数中的class文件的路径,然后加载,并执行其中的方法 */ @RequestMapping("/remoteDebugByUploadFile.do") @ResponseBody public String rem…

在对HDFS格式化,执行hadoop namenode -format命令时,出现未知的主机名的问题,异常信息如下所示: [shirdrn@localhost bin]$ hadoop namenode -format11/06/22 07:33:31 INFO namenode.NameNode: STARTUP_MSG: /************************************************************STARTUP_MSG: Starting Nam…

一.配置虚拟机软件 下载地址:https://www.virtualbox.org/wiki/downloads 1.虚拟机软件设定 1)进入全集设定 2)常规设定 2.Linux安装配置 1)名称类型 名称最后具有说明意义.版本根据个人情况. 2)内存 在下物理机系统Win7x64,处理器i53210,内存8G. 3)磁盘选择 4)磁盘文件 virtualbox格式vdi,VMWare格式vmdk,微软格式vhd(virtualbox不支持),Parallels格式hdd(virtualbox…

一．环境说明 虚拟机:vmware 11 操作系统:Ubuntu 16.04 Hadoop版本:2.7.2 Zookeeper版本:3.4.9 二．节点部署说明 三．Hosts增加配置 sudo gedit /etc/hosts wxzz-pc.wxzz-pc0.wxzz-pc1.wxzz-pc2均配置如下: 127.0.0.1 localhost 192.168.72.132 wxzz-pc 192.168.72.138 wxzz-pc0 192.168.72.135 wxzz-pc1 192…

VirtualBox搭建hadoop伪分布式模式 VirtualBox搭建hadoop伪分布式模式 master: ip:192.168.56.120 机器名: master 启动NameNode 启动JobTrackerslave1: ip: 192.168.56.121 机器名:slave1 启动SecondaryNameNode 启动DataNode 启动TaskTrackerslave2: ip: 192.168.56.122 机器名:slave2 启动DataNode 启动TaskTr…

环境win7+vamvare10+centos7 一.新建三台centos7 64位的虚拟机 master node1 node2 二.关闭三台虚拟机的防火墙,在每台虚拟机里面执行: systemctl stop firewalld.service systemctl disable firewalld.service 三.在三台虚拟机里面的/etc/hosts添加三行 192.168.137.100 master 192.168.137.101 node1 192.168.137.102 no…

[故障背景] DataNode进程正常启动,但是网页上不显示,并且DataNode节点为空. /etc/hosts   的ip和hostname配置正常,各个机器之间能够ping通. [日志错误信息] 2018-06-11 17:29:08,165 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Block pool BP-591370997-192.168.243.12-1528711881217 (Datanode Uuid nul…

JDK安装 设置hostname [root@bigdata111 ~]# vi /etc/hostname 设置机器hosts [root@bigdata111 ~]# vi /etc/hosts 192.168.1.111 bigdata111 192.168.1.112 bigdata112 192.168.1.113 bigdata113 创建jdk目录 [root@bigdata111 /]# cd /opt [root@bigdata111 opt]# ll 总用量 0 drwxr-…

因为我们不能在线上环境进行调试hadoop,这样就只能在本地先调试好了再放到线上去啦.我本地是windows环境,今天先记下windows下搭建hadoop2.7的步骤. 1 本地环境 windows7 64位 hadoop-2.7.3.tar.gz hadoop在apache下载,看别的教程都说是需要搭建Cygwin,但是后来在国外论坛上看到已经有大神给出了windows下搭建hadoop环境的依赖库,所以我们省下了甚多麻烦哈.依赖环境点击这里下载.将解压的bin目录和etc目录替换掉你的本地…

本文源码:GitHub·点这里 || GitEE·点这里 一.基础环境 1.环境版本 环境:centos7 hadoop版本:2.7.2 jdk版本:1.8 2.Hadoop目录结构 bin目录:存放对Hadoop的HDFS,YARN服务进行操作的脚本 etc目录:Hadoop的相关配置文件目录 lib目录:存放Hadoop的本地库,提供数据压缩解压缩能力 sbin目录:存放启动或停止Hadoop相关服务的脚本 share目录:存放Hadoop的依赖jar包.文档.和相关案例 3.配置加载 vi…