1.Hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动jobhistory 如:sbin/mr-jobhistory-daemon.sh start historyserver 查看是否配制成功:http://172.16.7.81:19888/jobhistory(172.16.7.81为一个节点IP,一般为master节点) 2.检查 namenode 和 da

软件环境: 虚拟机:VMware Workstation 10 操作系统:ubuntu-12.04-desktop-amd64 JAVA版本:jdk-7u55-linux-x64 Hadoop版本:hadoop-1.2.1 Hadoop下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/ 选择hadoop-1.2.1.tar.gz这个 第一阶段:安装JDK 请参考上篇文章:http://www.cnblogs.com/ma

Failed to set setXIncludeAware(true) for parser 遇到此问题一般是jar包冲突的问题.一种情况是我们向java的lib目录添加我们自己的jar包导致hadoop引用jar包的冲突.解决方案就是删除我们自己向系统添加的jar包,重新配置.将自己的jar包或者外部jar放入系统目录会在编译程序时带来方便,但是这不是一种好习惯,我们应该通过修改CLASSPATH的方式指定jar包路径. Cannot lock storage /tmp/hadoop-roo

0. Hadoop源码包下载 http://mirror.bit.edu.cn/apache/hadoop/common/   1. 集群环境 Master 172.16.11.97 Slave1 172.16.11.98 Slave2 172.16.11.99   2. 关闭系统防火墙及内核防火墙 #Master.Slave1.Slave2 #清空系统防火墙 iptables -F #保存防火墙配置 service iptables save     #临时关闭内核防火墙 setenforce

HADOOP_HOME E:\tool\eclipse\hadoop-2.7.3 HADOOP_USER_NAME ambari-qa path: %HADOOP_HOME%/bin

下载Hadoop(我下载的是2.8.0版本) 点击此处下载 下载后,使用 tar -zxvf tar包名 解压tar包,解压完成后有这样一个文件出现 修改Hadoop的配置文件 需要修改的配置文件在Hadoop安装路径下的 etc/hadoop中 需要修改的文件包括 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh修改内容如下 export JAVA_HOME=/Librar

接上篇:Hadoop3集群搭建之——虚拟机安装 下篇:Hadoop3集群搭建之——配置ntp服务 Hadoop3集群搭建之——hive安装 Hadoop3集群搭建之——hbase安装及简单操作 上篇已经安装好了虚拟机了,现在开始配置环境,安装hadoop 注:hadoop集群最少需要三台机,因为hdfs副本数最少为3,单机不算 我搭了三台机 1.创建hadoop用户,hadoopgroup组 groupadd -g hadoopgroup # 创建用户组 useradd -d /opt/hado

RHadoop实践系列之一:Hadoop环境搭建 RHadoop实践系列文章,包含了R语言与Hadoop结合进行海量数据分析.Hadoop主要用来存储海量数据,R语言完成MapReduce 算法,用来替代Java的MapReduce实现.有了RHadoop可以让广大的R语言爱好者,有更强大的工具处理大数据1G, 10G, 100G, TB, PB. 由于大数据所带来的单机性能问题,可能会一去不复返了. RHadoop实践是一套系列文章,主要包括”Hadoop环境搭建”,”RHadoop安装与使用

一.环境选择 1,服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G ip:39.108.77.250 2,配置选择 JDK:1.8 (jdk-8u144-linux-x64.tar.gz) Hadoop:2.8.2 (hadoop-2.8.2.tar.gz) 3,下载地址 官网地址: JDK: http://www.oracle.com/technetwork/java/javase/downloads Hadopp

硬件配置:1台NameNode节点.2台DataNode节点 一.Linux环境配置 这里我只配置NameNode节点,DataNode节点的操作相同. 1.1.修改主机名 命令:vi /etc/sysconfig/network修改内容:NETWORKING=yesHOSTNAME=master命令:hostname master 1.2.修改ip地址(桥接模式) 命令:vi /etc/sysconfig/network-scripts/ifcfg-eth0修改内容:(保留最简配置)DEVIC

一．实验目的 1. 掌握Linux虚拟机的安装方法. 2. 掌握Hadoop的伪分布式安装方法. 二．实验内容 (一)Linux基本操作命令 Linux常用基本命令包括: ls,cd,mkdir,rm,man,cat,ssh,yum,vim,vi等. (二)安装JDK Hadoop是Java实现的,运行在Java虚拟机上,安装JDK并设置JAVA环境变量. (三)配置各节点间无密码验证 Hadoop集群的启动需要通过SSH启动各从节点,需要配置各节点之间SSH无密码验证. (四)配置和启动Had

摘要: 最近闲来无事就把以前做的cordova项目整理了下,发现网上很少有详细完整的配置教程,所以自己就总结了下分享给大家. 项目地址:https://github.com/baixuexiyang/hybrid 环境搭建: 1.安装node.js下载安装node.js,https://nodejs.org/en/,安装cordova时需要使用.安装完成之后在终端(win+r,cmd)执行node -v,如果看到如下图所示的版本号表示安装成功. 2.安装ant下载连接:http://apache

 前言 有人说:"如果你恨一个人,就让ta去接触cordova(phonegap)",这是因为这里面的水很深,坑很多,真让人不是一般地发狂.或许有幸运的人儿基本顺顺利利就配置完环境并且成功打包安卓apk或者ios的ipa,像我这样没有运气也没有大神前辈指教,只能在摸索中一而再再而三地体验绝望到希望,再由希望到绝望的心情了,最糟的一次是到了重装系统的地步!!环境配置多了修改多了,乱得不要不要的!!不多说了,下面分享我使用ionic与cordova(phonegap)进行轻量级app开发前

基本的支持环境.暂时还不应用zend优化,因此这里就不涉及到zend optimizer的安装了.其实在ubuntu系统中中安装远比在windows系统中设置更为容易,而且在终端下设置更省事. 1.安装Apache服务 sudo apt-get install apache2 然后按照提示即完成apahce的安装了.这里 可以打开 http://127.0.0.1 ,即可看于是It works 2.安装php5 sudo apt-get install php5 sudo apt-get ins

这里简单用三台虚拟机,搭建了一个两个数据节点的hadoop机群,仅供新人学习.零零碎碎,花了大概一天时间,总算完成了. 环境 Linux版本:CentOS 6.5 VMware虚拟机 jdk1.6.0_45 主要分为一下几步完成 一.安装CentOS 6.5 当然了,如果没有虚拟机,需要先安装VMware,然后新建虚拟机,选择系统镜像即可,复制几台,比如我的机器4G内存,最多复制两台,一共三台. 建议这时候把所有机器进入管理员root权限: [root@blue bin]#su 输入密码即可 二

###### **工具:** > * [titanium studio](http://www.appcelerator.com/product/) > * [node.js](https://web.appcelerator.com/product/cli) > * [fib.js](https://github.com/xicilion/fibjs) > * [Android SDK](http://wear.techbrood.com/sdk/installing/studi

一.什么是SDL? SDL是 “Simple DirectMedia Layer”的缩写,SDL是一个开源的跨平台的多媒体库,封装了复杂的音视频底层操作,简化了音视频处理的难度. SDL使用C语言写成,提供了数种控制图像.声音.输出入的函数,可以开发出跨多个平台(Linux.Windows.Mac OS X等)的应用软件.目前多用于开发游戏.模拟器.媒体播放器等多媒体应用领域. 1. SDL 库分类 SDL库分为 Video.Audio.CD-ROM.Joystick 和 Timer 等若干子系

下载地址:https://bitbucket.org/appium/appium.app/downloads/ windows安装: 下载 AppiumForWindows.zip 解压 AppiumForWindows.zip 在解压文件夹中,点击 appium-installer.exe 选择安装语言 等待安装完毕 ps:会自动安装node.js,命令行中键入node -v查看是否安装成功node 这是Appium Server(通过cmd键入appium可以打开),还可以自行安装 appi

前言 之前都是介绍一些基础知识,在这一节,我们就要开始实战coding了.正所谓磨刀不误砍柴工,准备工作显得尤为重要.很多demo只是追求效果的实现,并不注重整个demo的架构性.从我个人的角度看来,既然是demo,就应该是有参考价值的,而作为web的demo,就更加应该凸显整个demo的结构,所以这一节着重讲解个人喜欢的node项目的前后端架构. 另,本教程乃系列教程,如需从头看起,可先看前面两篇博客: http://www.cnblogs.com/yuanzm/p/4179766.html

准备工作:需要Linux kernel 3.8支持查看linux内核的版本:root@ubuntu-dev:~# cat /proc/version查看linux版本:root@ubuntu-dev:~# lsb_release –a 关于dockerDocker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的 Linux 机器上,也可以实现虚拟化.容器是完全使用沙箱机制,相互之间不会有任何接口(类似 iPhone 的 app).几乎没有