前言:       Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上:并且它提供高吞吐量(high throughput)来訪问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序.HDFS放宽了(relax)POSIX的要求,能够以流的形式訪问(streaming access)文件系统中的数据. Hadoop的框架最核心的…

由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的w…

由于现在hadoop2.0还处于beta版本,在apache官方网站上发布的beta版本中只有编译好的32bit可用,如果你直接下载安装在64bit的linux系统的机器上,运行会报一个INFO util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable的错误,但在实际测试中是可以正常安装并可以运行自带的w…

Linux Red Hat 8.0虚拟机安装过程 一.安装虚拟机所需要的工具: 1.VMware Workstation Pro 2.Red Hat 8.0 虚拟机镜像 3.还有一个就是VMware的密钥 二.VMware Workstation Pro的安装在这里就不多说了,只要会安装QQ都可以做…

前言 本文主要通过对hadoop2.2.0集群配置的过程加以梳理,所有的步骤都是通过自己实际测试.文档的结构也是根据自己的实际情况而定,同时也会加入自己在实际过程遇到的问题.搭建环境过程不重要,重要点在于搭建过程中遇到的问题,解决问题的过程. 可能自己遇到的问题在一些由经验的老者手上都不是问题,但是这些问题着实让自己耽误了很长时间,最后问题解决也是费了太大心血.也通过这篇文档,表现出来,算是总结,为后者提供意见. Hadoop2.2.0体系结构 要想理解本节内容,首先需要了解hadoop1的体系…

前言 在寒假前的一段时间,开始调研Hadoop2.2.0搭建过程,当时苦于没有机器,只是在3台笔记本上,简单跑通一些数据.一转眼一两个月过去了,有些东西对已经忘了.现在实验室申请下来了,分了10台机器(4G+500G),这足够我们玩的了.开始搭建Hadoop2.2.0分布式集群,也趁着这个机会把整个流程梳理一下. 在很多博客中有关于Hadoop2.2.0版本的安装过程,有的很全,但是按照去做,还是会出现一些问题卡在那里.有的时候需要结合几篇文档去搭建平台.在这篇博客汇总会把我们遇到的问题,以及搭…

目录 目录 1 1. 前言 3 2. 特性介绍 3 3. 部署 5 3.1. 机器列表 5 3.2. 主机名 5 3.2.1. 临时修改主机名 6 3.2.2. 永久修改主机名 6 3.3. 免密码登录范围 7 3.4. 修改最大可打开文件数 7 3.5. OOM相关:vm.overcommit_memory 7 4. 约定 7 4.1. 安装目录约定 7 4.2. 服务端口约定 9 4.3. 各模块RPC和HTTP端口 10 5. 工作详单 10 6. JDK安装 10 6.1. 下载安装包…

目录 目录 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 临时修改主机名 3 2.2.2. 永久修改主机名 3 2.3. 免密码登录范围 4 3. 约定 4 3.1. 安装目录约定 4 3.2. 服务端口约定 5 4. 工作详单 6 5. JDK安装 6 5.1. 下载安装包 6 5.2. 安装步骤 6 6. 免密码ssh2登录 7 7. Hadoop安装和配置 8 7.1. 下载安装包 8 7.2. 安装和环境变量配置 8 7.3. 修改had…

文件夹 文件夹 1 1. 前言 2 2. 部署 2 2.1. 机器列表 2 2.2. 主机名 2 2.2.1. 暂时改动主机名 3 2.2.2. 永久改动主机名 3 2.3. 免password登录范围 4 3. 约定 4 3.1. 安装文件夹约定 4 3.2. 服务port约定 5 4. 工作详单 6 5. JDK安装 6 5.1. 下载安装包 6 5.2. 安装步骤 6 6. 免passwordssh2登录 7 7. Hadoop安装和配置 8 7.1. 下载安装包 8 7.2. 安装和环境…

由于下载的是hadoop的最新版,网上各种杂七杂八的东西都不适用.好在官网上说的也够清楚了.如果有人看这篇文章的话,最大的忠告就是看官网. 官网2.6.0的安装教程:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common/SingleCluster.html hdfs指令:http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-common…

  本文Blog地址:http://www.cnblogs.com/fesh/p/3766656.html   本文对Hadoop-2.2.0源码进行重新编译(64位操作系统下不重新编译会有版本问题),并构建Hadoop-2.2.0集群,生成在Eclipse环境上的Hadoop-2.2.0插件,并通过了测试运行. 1 . 安装maven .libssl-dev .cmake 和JDK 安装本机库http://wiki.apache.org/hadoop/HowToContribute sudo…

Red5从旧的服务器切换到了github上后,截至20150702仍未更新文档.为了搭建Red5开发环境,我像无头苍蝇一样乱转了很多博客和StackOverflow.藉此记录这次安装过程,希望能够帮助其他人少走点弯路. 需要注意的是,问题6的解决方法有些勉强,如果有谁知道更好的方法,请不吝留言.先抱拳道谢了. Red5开发环境的搭建过程我整理为以下步骤: 安装Red5:生成Red5的运行目录.注:Red5内置了一个Tomcat服务器,安装后的目录中有webapps目录用于装载你的项目资源. 安装…

背景和实验环境介绍 操作系统环境:windows 2008R2 中文企业版 前期环境配置 配置IP信息,把DNS改成自己的IP 修改主机名和后缀 安装和配置DNS服务 Vcenter 添加dns角色     管理工具里打开dns管理器,创建相应的记录   新建区域--->正向查找区域 下一步 设置区域名称 创建文件名如下 正向查找区域里,新建一个主机 设置如下 设置反向查找区域 设置IPV4的 下面文件默认即可 不允许动态更新 反向查找区域下面的,这个---新建指针 安装SQL Server数据…

测试启动 按照下面的每一步执行,执行完一定要看输出的信息,注意warn或error或fatal的情况.因为这都是可能是问题出现的地方.出现一个问题,不解决,可能就会影响接下来的测试.这才是真正的工作量. 1.启动zookeeper 在hadoop1.hadoop2.hadoop3.hadoop4.hadoop5上zookeeper目录下分别执行命令:bin/zkServer.sh start 在每一台机器执行完上面的命令后,执行jps,会显示:这是初步认定启动没有问题 <span style=&qu…

安装成功于20171231的0:46分. 简要记录我的安装过程如下: 一,安装JDK1.8.X 二,安装ANDROID STUDIO.ZIP 三,运行AS,后按提示下载SDK,NDK,必要时设置一下JDK目录 四,运行AS新一个项目,若未民功.退出,下载百度的云盘的GRADLE压缩包,并复制到C盘相应GRADLE目录,重启AS新建项目. 按如下提示点链接安装相应软件. 五,安装AVD模拟器一个,根据自己电脑配置. -----------------------------------------…

[Qboy原创]详细记录源代码的安装过程 1.下载原代码 在http://www.openvas.org/install-source.html下载 Libraries 8.0.8 Scanner 5.0.7 Manager 6.0.9 Greenbone Security Assistant (GSA) 6.0.11 2.按上面的顺序依次安装 安装cmake sudo apt-get install cmake 1)安装Libraries 8.08 解压代码 参照INSTALL文档 安装依赖库…

重新安装opencv3.4.0 参考安装博客: opencv 安装版本测试:pkg-config --modversion opencv https://blog.csdn.net/cocoaqin/article/details/78163171 卸载opencv的方式:进入opencv源码build目录 make uninstall cd .. sudo rm -r build sudo rm -r /usr/local/include/opencv2 /usr/local/include/…

目录 一.概念介绍 1.CDH 概览 2.Cloudera Manager 概览 二.环境准备 1.软件版本选择 2.节点准备(四个节点) 3.配置主机名和hosts解析(所有节点) 4.关闭防火墙 5.关闭SELinux 6.添加定时任务 7.禁用透明大页面压缩 8.优化交换分区 三.安装 CM 和 CDH 1.配置 Cloudera Manager 仓库(所有节点) 2.配置 JDK (所有节点) 3.安装 CM Server 和 Agent 4.安装数据库(namenode01) 4.安装…

1. 准备 创建用户 useradd hadoop passwd hadoop 创建相关的目录 定义代码及工具存放的路径 mkdir -p /home/hadoop/source mkdir -p /home/hadoop/tools 定义数据节点存放的路径到跟目录下的hadoop文件夹, 这里是数据节点存放目录需要有足够的空间存放 mkdir -p /hadoop/hdfs mkdir -p /hadoop/tmp mkdir -p /hadoop/log 设置可写权限 /hadoop 定义j…

Yii框架是个不错的php开发框架,大型项目上都可以使用.和大多框架一样他也是开源,而且采用了mvc结构的. Yii1.*,直接下载然后用脚步可以创建自己的项目了,最近看了下Yii2.0版本的,他推荐用composer来安装.当然也可以用类似1.*版本的安装方式. 这篇咱们就说说2.0的composer方式安装. 1.既然是composer方式安装,那就要先有composer了,如果没有的话就自己下载安装,具体可以参考 https://getcomposer.org/doc/00-intro.m…

参考博客:https://blog.csdn.net/WinstonLau/article/details/78666423 我的系统和软件版本是这样的: 系统环境:win7.64位 MySQL版本:8.0.11 对版本的说明 之所以说是 MySQL5.7 及以上版本,是因为从 MySQL5.7 版本之后,其安全机制有所改变.在安装完成后,登陆 MySQL 时,需要输入一个密码,这个密码其实是在配置 MySQL 的过程中生成的一个随机密码,而我们必须找到这个随机密码才能登陆 MySQL.而在 5…

LZ最近换了台新台式电脑,开始下载新VS软件,话说软件平台越新越好用,一看网上已经有VS2015版本,果断就去官网下载. 1.安装VS操作 官方网的链接如下:https://www.visualstudio.com/downloads/download-visual-studio-vs https://beta.visualstudio.com/free-developer-offers/ https://beta.visualstudio.com/downloads/ 大概就8G:下载社区版本…

第一步:准备hive和mysql安装包 下载hive 1.1.1 地址:http://www.eu.apache.org/dist/hive/ 下载Mysql JDBC 5.1.38驱动:http://dev.mysql.com/downloads/connector/j/ 第二步:直接安装mysql,可以用sudo apt-get install mysql-server mysql-client来安装,安装后检查是否启动 第三步:用root身份进入MySql,创建数据库hive和用户hado…

因为种种问题,怀疑是因为JDK版本不对劲,于是打算将JDK重新搞一下. 不看不知道,看了吓一跳,我的笔记本里现在起码有5.6甚至更多个JDK,JRE,并且由于年久失修,我也不知道这些东西怎么装上去的,当时怎么想的. 命令行里JAVA -VERSION显示我现在的版本是9.0.1,我想怎么也不可能因为我版本过旧要升级才无法运行的,但是本着下都下了,必须装一下的中国人座右铭,我也必须要装上去. 随便其中的3个.真是头大了-- 环境变量里也是一塌糊涂: ------------------------…

…

fesh个人实践,欢迎经验交流!本文Blog地址:http://www.cnblogs.com/fesh/p/3872872.html 软件环境 操作系统:Ubuntu14.04 JDK版本:jdk1.7.0_51 Hadoop版本:Hadoop-2.2.0 Hive可以理解为在Hadoop和HDFS之上为用户封装一层便于用户使用的接口.Hive需要将元数据存储在RDBMS中,这对于Hive的运行是非常重要的. (1)安装Hadoop-2.2.0集群 参见<Ubuntu12.04-x64编译Ha…

众所周知,hadoop在10月底release了最新版2.2.很多国内的技术同仁都马上在网络上推出了自己对新版hadoop的配置心得.这其中主要分为两类: 1.单节点配置 这个太简单了,简单到只要懂点英语,照着网上说的做就ok了.我这里不谈这个,有兴趣的童鞋可以自己去问度娘和谷哥- 2.多节点配置 这个就是我要重点说明的,老实说网络上说的的确是多节点,但不是真正的分布式部署- 我们为什么要用hadoop?因为hadoop是一个分布式系统基础架构,我们可以在不了解分布式底层细节的情况下,开发分布式…

目录: 一.hadoop2.2.0.zookeeper3.4.5.hbase0.96.2.hive0.13.1都是什么? 二.这些软件在哪里下载? 三.如何安装 1.安装JDK 2.用parallels克隆3台机器 3.安装Zookeeper-3.4.5 4.安装hadoop2.2.0 5.启动zookeeper 6.启动JournalNode集群 7.Hbase-0.96.2-hadoop2(启动双HMaster的配置,m1是主HMaster,m2是从HMaster) 8.在ubuntu12.…

转载地址:http://blog.csdn.net/zhangzhaokun/article/details/44313531 (1)安装环境         操作系统:Linux(centos6.5)         JDK版本:1.7.0_45         Hadoop版本:hadoop2.2.0         Sqoop版本:sqoop-1.4.5.bin__hadoop-2.0.4-alpha.tar.gz         hadoop安装目录:/home/hadoop/hadoo…

下载文件 http://nginx.org/en/download.html 下载 nginx-1.9.3.tar.gz 安装Nginx 安装 一.安装nginx时必须先安装相应的编译工具 yum -y install gcc gcc-c++yum -y install zlib zlib-devel openssl openssl-devel pcre-devel 建立nginx 组 groupadd -r nginx# -r 表示创建的是系统组 useradd -s /sbin/nologi…