配置 修改 mapred-site.xml <property> <name>mapreduce.jobhistory.address</name> <value>slave1:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>slave1:19888&…

1.课程环境 本课程涉及的技术产品及相关版本: 技术 版本 Linux CentOS 6.5 Java 1.7 Hadoop2.0 2.6.0 Hadoop1.0 1.2.1 Zookeeper 3.4.6 CDH Hadoop 5.3.0 Vmware 10 Hive 0.13.1 HBase 0.98.6 Impala 2.1.0 Oozie 4.0.0 Hue 3.7.0 2.内容简介 本教程针对有一定Hadoop基础的学员,深入讲解如下方面的内容: 1.Hadoop2.0高阶运维,包括H…

1.开启日志 红色是命令,之下是回显. MariaDB [jksfrz]> SET GLOBAL log_output = 'TABLE'; Query OK, 0 rows affected (0.000 sec) MariaDB [jksfrz]> SET GLOBAL general_log = 'ON'; Query OK, 0 rows affected (0.000 sec) 2.查看日志表 select * from mysql.general_log; 查询结果截图: 日志表记…

Hadoop-2.0 目录简介 一.目录结构 将下载的压缩包解压: 解压后文件夹如下: 二.各文件夹目录结构 1.bin:Hadoop2.0的最基本管理脚本和使用脚本所在目录.这些脚本是sbin目录下管理脚本的基础实现,我们可以直接用这些脚本管理和使用Hadoop. 2.etc:这个目录里的文件只要接触过Hadoop的人都很熟悉.Hadoop配置文件目录.首先是从Hadoop1.0继承来的三个文件core-site.xml.hdfs-site.xml.mapred-site.xml,然后还有一个…

PHP框架CI CodeIgniter 的log_message开启日志记录方法 第一步:index.php文件,修改环境为开发环境define(‘ENVIRONMENT’, ‘development’);第二步:application/config/config.php文件修改$config[‘log_threshold’] = 4; //0表示关闭,4表示所有级别都打开第三步:在需要输出日志的地方加入如下类似语句log_message(‘error’, ‘Some variable did…

CentOS 7上yum安装的Haproxy,默认没有记录日志.需要做一下配置才能记录日志.(不知道其他版本是否需要,已经忘记了)主要是用到了Haproxy,以前貌似没有这么麻烦,今天配置出了一些问题查日志才发现原来Haproxy需要自己手工开启日志记录功能.因此作为相关记录! 1. 创建记录日志文件 mkdir /var/log/haproxy chmod a+w /var/log/haproxy 2. 开启rsyslog记录haproxy日志功能 编辑“/etc/rsyslog.conf”打…

YARN(Yet Another Resource Negotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用,是hadoop2.0中的核心,它类似于一个分布式操作系统,通过它的api编写的应用可以跑在它上面,支持临时和常驻的应用,集群的资源可以得到最大限度的共享.资源是指CPU,内存,硬盘,带宽等可以量化的东西. Hadoop1.0和2.0架构对比 1.0的绝对核心是mapreduce,只能跑mapreduce的任务:2.0的绝对核心是YARN,除了可以跑…

#查看日期情况 #show variables like '%general%'; #开启日志 #SET GLOBAL general_log = 'On'; #指定日志文件 #SET GLOBAL general_log_file = '/var/lib/mysql/mysql.log';   原文如下: 在工作中,我们用于捕捉性能问题最常用的就是打开慢查询,定位执行效率差的SQL,那么当我们定位到一个SQL以后还不算完事,我们还需要知道该SQL的执行计划,比如是全表扫描,还是索引扫描,这些都…

1.说明 HAproxy在默认情况不会记录日志, 不仅要在haproxy.conf中配置日志输出, 还需要修改系统日志的配置文件. 2.修改haproxy.conf 在haproxy.conf文件中增加如下日志配置, defaults下面增加日志相关的配置: defaults log global option httplog log 127.0.0.1 local7 日志的级别为local0-local7, 另外16-23保留为本地使用: 级别 代码 描述 emerg 0 系统不可用 aler…

一.hadoop2.0安装部署流程         1.自动安装部署:Ambari.Minos(小米).Cloudera Manager(收费)         2.使用RPM包安装部署:Apache hadoop不支持.HDP与CDH提供         3.使用jar包安装部署:各版本均提供.(初期为了理解hadoop,建议使用这种方式)         部署流程:                 准备硬件(Linux操作系统)                 准备软件安装包,并安装基础软件…

YARN总体上仍然是Master/Slave结构,在整个资源管理框架中,ResourceManager为Master,NodeManager为Slave,ResouceManager负责对各个NodeManager上的资源进行统一管理和调度.当用户提交一个应用程序时,需要提供一个用以跟踪和管理这个程序的ApplicationMaster,它负责向ResourceManger申请资源,并要求NodeManager启动可以占用一定资源的任务. Hadoop2.0 YARN包含以下实体,可以看图: R…

1. Hadoop 1.0中的资源管理方案Hadoop 1.0指的是版本为Apache Hadoop 0.20.x.1.x或者CDH3系列的Hadoop,内核主要由HDFS和MapReduce两个系统组成,其中,MapReduce是一个离线处理框架,由编程模型(新旧API).运行时环境(JobTracker和TaskTracker)和数据处理引擎(MapTask和ReduceTask)三部分组成.Hadoop 1.0资源管理由两部分组成:资源表示模型和资源分配模型,其中,资源表示模型用于描述资源…

Hadoop2.0重启脚本 方便重启带ha的集群,写了这个脚本 #/bin/bash sh /opt/zookeeper-3.4.5-cdh4.4.0/bin/zkServer.sh restart sh /opt/hadoop-2.0.0-cdh4.5.0/sbin/hadoop-daemon.sh start journalnode sh /opt/hadoop-2.0.0-cdh4.5.0/sbin/stop-dfs.sh sh /opt/hadoop-2.0.0-cdh4.5.0/bin…

ganglia监控hadoop2.0配置方法前提:hadoop2.0集群已安装ganglia监控工具第一步:Hadoop用户登录集群每一个节点,修改文件:vi /opt/hadoop-2.0.0-cdh4.5.0/etc/hadoop/hadoop-metrics2.properties将文件内容修改为如下内容:(注释或者删除默认配置)*.sink.ganglia.class=org.apache.hadoop.metrics2.sink.ganglia.GangliaSink31 *.sink…

准备编译hadoop-2.0.0-mr1-cdh4.2.0的同学们要谨慎了.首先看一下这篇文章: Hadoop作业提交多种方案 http://www.blogjava.net/dragonHadoop/archive/2012/10/22/389993.html 关于mapreduce远程将任务提交至云端,也就是打完jar包要往项目的哪个地方,实际上就是把jar包扔到你的项目中的任位置,然后加入项目的classpath中就可以了, 再次run in java application...  ok…

经过一个星期多的努力,这两个包的编译工作总算告一段落. 首先看一下这一篇文章: 在eclipse下编译hadoop2.0源码 http://www.cnblogs.com/meibenjin/archive/2013/07/05/3172889.html 教你如何编译hadoop2.0,请确认以下软件你的机器是否已经安装,尤其是ProtocolBuffer很多机器其实是没有的,如果没有装你后续就会尝到苦头了. JDK1.6.0_45Maven 3.0.4SVN1.6.17 ProtocolBuf…

在eclipse下编译hadoop2.0源码 http://www.cnblogs.com/meibenjin/archive/2013/07/05/3172889.html hadoop cdh4编译 http://mopishv0.blog.163.com/blog/static/5445593220131253813806/  为eclipse安装maven插件 http://www.huqiwen.com/2012/04/26/eclipse-install-maven-plugin/ …

在<在eclipse下编译hadoop2.0源码>一文中,我详细介绍了如何在eclipse环境和命令行环境下编译hadoop2.0源代码,并简单介绍了如何构建hadoop环境,这篇文章将着重介绍如何在eclipse下调试源代码. 在hadoop2.0中,常用的模块有NameNode,DataNode, ResourceManager, NodeManager, FsShell等.这里我们以调试FsShell和NameNode模块为例. FsShell命令调试: FsShell命令是hadoop…

在hadoop2.0在,datanode数据存储盘选择策略有两种方式复制: 首先是要遵循hadoop1.0磁盘文件夹投票,实现类:RoundRobinVolumeChoosingPolicy.java 另外一种是选择可用空间足够多的磁盘方式存储,实现类:AvailableSpaceVolumeChoosingPolicy.java 选择策略相应的配置项是: <property> <name>dfs.datanode.fsdataset.volume.choosing.policy&…

在hadoop2.0中,datanode数据副本存放磁盘选择策略有两种方式: 第一种是沿用hadoop1.0的磁盘目录轮询方式,实现类:RoundRobinVolumeChoosingPolicy.java 第二种是选择可用空间足够多的磁盘方式存储,实现类:AvailableSpaceVolumeChoosingPolicy.java 选择策略对应的配置项是: <property> <name>dfs.datanode.fsdataset.volume.choosing.polic…

一.搭建环境的前提条件 环境:ubuntu-16.04 hadoop-2.6.0  jdk1.8.0_161.这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可. 因为这里是配置Hadoop的教程,配置Java以及安装VMware Tools就自行百度解决哈,这里就不写了(因为教程有点长,可能有些地方有些错误,欢迎留言评论,我会在第一时间修改的). 二.搭建的详细步骤 1.配置免密码登陆ssh 先判断是否安装ssh,输入命令:ssh localhost,若提示输…

yarn开启日志归集功能,除了配置之外 yarn.log-aggregation-enable=true 还要检查/tmp/logs目录是否存在以及权限,尤其是在开启kerberos之后,有些目录可能不能自动创建成功,需要手工创建: $ hdfs dfs -mkdir /tmp$ hdfs dfs -chmod 777 /tmp 每个应用的hdfs日志目录: /tmp/logs/$user/logs/$applicationId…

Hadoop2.0源码包简介 1.解压源码包: 2.目录结构: hadoop-common-project:Hadoop基础库所在目录,如RPC.Metrics.Counter等.包含了其它所有模块可能会用到的基础库. hadoop-mapreduce-project:MapReduce框架的实现,在第一代MR即MRv1中,MapReduce由编程模型(map/reduce).调度系统(JobTracker和TaskTracker)和数据处理引擎(MapTask和ReduceTask)等模块组成…

Hadoop2.0 Namenode HA实现方案介绍及汇总 基于社区最新release的Hadoop2.2.0版本,调研了hadoop HA方面的内容.hadoop2.0主要的新特性(Hadoop2.0稳定版2.2.0新特性剖析): hdfs snapshots: apache官方对hdfs snapshots说明 namenode federation: namenode在集群规模大了之后会成为性能瓶颈,尤其是内存使用量急剧增大,同时hdfs所有元数据信息的读取和操作都要与namenode通…

#查看日期情况 #show variables like '%general%'; #开启日志 #SET GLOBAL general_log = 'On'; #指定日志文件 #SET GLOBAL general_log_file = '/var/lib/mysql/mysql.log';…

Hadoop1.x和Hadoop2.0构成图对比 Hadoop1.x构成: HDFS.MapReduce(资源管理和任务调度):运行时环境为JobTracker和TaskTracker: Hadoop2.0构成:HDFS.MapReduce/其他计算框架.YARN: 运行时环境为YARN 1.HDFS:HA.NameNode Federation 2.MapReduce/其他计算框架:运行在YARN之上的MapReduce通常称之为MapReduce2.0(MRv2) 3.YARN:资源管理系统…

Hadoop 2.0.0-cdh4.5.0安装:http://blog.csdn.net/u010967382/article/details/18402217 CDH版本下载:http://archive.cloudera.com/cdh4/cdh/4/ 进一步学习:http://blog.csdn.net/can007/article/details/8298415(NFS挂载) PIG:http://pig.apache.org/docs/r0.11.0/ http://wenku.bai…

需准备的前提条件: 1. 安装JDK(自行安装) 2. 关闭防火墙(centos): systemctl stop firewalld.service systemctl disable firewalld.service 编辑 vim /etc/selinux/config文件,修改为:SELINUX=disabled 源码包下载: http://archive.apache.org/dist/hadoop/common/ 集群环境: master 192.168.1.99 slave1 19…

作为后端开发者,遇到数据库问题的时候应该通过分析SQL语句来跟进问题所在,该方法可以记录所有的查询/执行的SQL语句到日志文件. 方法有几种,但是个人觉得以下这种最简单,但是重启MySQL服务后需要重新配置. 查询日志功能是否开启 SHOW VARIABLES LIKE 'general%'; general_log:日志功能是否开启,默认关闭OFF general_log_file:日志文件保存位置 开启日志 set GLOBAL general_log='ON'; 查询是否开启 SHOW V…

Hadoop1.0的局限-MapReduce •扩展性 –集群最大节点数–4000 –最大并发任务数–40000 (当 map-reduce job 非常多的时候,会造成很大的内存开销,潜在来说,也增加了 JobTracker fail 的风险,这也是业界普遍总结出老 Hadoop 的 Map-Reduce 只能支持 4000 节点主机的上限.) •可用性 –JobTracker负载较重 –存在单点故障, 一旦故障,     所有执行的任务的全部失败 •批处理模式,时效性低 –仅仅使用MapRe…