对于公司框架hadoop+hive,hive通过建立外部表(EXTERNAL TABLE)可以直接识别hdfs档,直接那假说本地文件hdfs文件系统.hive. 这期间须要一个ftp软件,能够沟通本地文件和hdfs软件,上网找到一个软件<hdfs-over-ftp>,地址为https://github.com/iponweb/hdfs-over-ftp,可惜这个是建立在hadoop-0.2初级上,作者好久不更新,如今用的环境是hadoop2.4.1,有些许变化.以下地址是我更新后的地址http…

1.安装JDK7 rpm到/usr/java/jdk1.7.0_40,并建立软链接/usr/java/default到/usr/java/jdk1.7.0_40 [root@server-308 ~]# rpm -ivh jdk-7u40-linux-x64.rpm Preparing... ########################################### [100%] 1:jdk ########################################### [1…

一.依赖安装 安装JDK 二.文件准备 hadoop-2.7.3.tar.gz 2.2 下载地址 http://hadoop.apache.org/releases.html 三.工具准备 3.1 Xshell 3.2 Xftp 四.部署图 master:192.168.136.128 slave:192.168.136.129 slave:192.168.136.130 五.Hadoop安装 以下操作,均使用root用户 5.1 主机名与IP地址映射关系配置 Master节点上,执行如下命令:…

一个.ftp的port和pasv工作方式        FTP使用2个TCPport,首先是建立一个命令port(控制port),然后再产生一个数据port. 国内非常多教科书都讲ftp使用21命令port和20数据port,这个应该是教书更新太慢的原因吧.实际上FTP分为主动模式和被动模式两种.ftp工作在主动模式使用tcp 21和20两个port,而工作在被动模式会工作在大于1024随机port.FTP最权威的參考见RFC 959.有兴趣的朋友能够细致阅读ftp://nic.merit.ed…

版权声明:本文为博主原创文章.未经博主同意不得转载. https://blog.csdn.net/linux_player_c/article/details/24869877 1.ftp简单介绍 (1)生活中的ftp     在互联网中我们须要传输数据,尤其是要传输大型数据. 有一个服务是要着重去介绍的:ftp. 事实上我们曾经非常早就接触它了.仅仅是大家可能不怎么关注,迅雷的基本模型就是ftp.只是是要高级的多.     事实上ftp应该是一种传输协议,之前它採用的是明文传输.假设在复杂的网…

Hadoop-HA集群搭建-rehl7.4 hadoop 无说明需要登录其它机器操作,都是在集群的HD-2-101上执行的命令. 所有安装包地址:百度网盘,提取码:24oy 1. 基础环境配置 1.1 克隆虚拟机 1.2 修改静态IP 1.3 本机依赖安装 1.4 配置群改 1.5 安装依赖 1.6 安装jdk 1.7 时间同步 2. 集群规划 3. 配置Zookeeper集群 4. HDFS-HA 与YARN-HA 集群配置 4.1 修改env.sh配置 4.2 修改site.xml配置 4.…

1.安装依赖的包: yum install gcc-c++ g++ autoconf automake libtool cmake zlib1g-dev pkg-config libssl-dev 2. 安装protobuf 2.5.0, 首先去google的网站上下载protobuf源代码,解压并切换到root用户执行如下命令: ./configure 如果中间发生错误,说明有些依赖包并为安装, an error occured because dependency is not met th…

自从2015年花了2个多月时间把Hadoop1.x的学习教程学习了一遍,对Hadoop这个神奇的小象有了一个初步的了解,还对每次学习的内容进行了总结,也形成了我的一个博文系列<Hadoop学习笔记系列>.其实,早在2014年Hadoop2.x版本就已经开始流行了起来,并且已经成为了现在的主流.当然,还有一些非离线计算的框架如实时计算框架Storm,近实时计算框架Spark等等.相信了解Hadoop2.x的童鞋都应该知道2.x相较于1.x版本的更新应该不是一丁半点,最显著的体现在两点: (1)H…

一.Java安装 1.安装包准备: 首先到官网下载jdk,http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html,我下载jdk-7u79-linux-x64.tar.gz,下载到主目录 2.解压安装包 通过终端在/usr/local目录下新建java文件夹,命令行: sudo mkdir /usr/local/java 然后将下载到压缩包拷贝到java文件夹中,命令行: 进入jdk压缩…

转载:ubuntu搭建hadoop-Ver2.6.0完全分布式环境笔记 自己在搭建hadoop平台时,碰到一些困难,按照该博文解决了问题,转载一下,作为记录. 2 先决条件 确保在你集群中的每个节点上都安装了所有必需软件:JDK ,ssh,Hadoop 3 实验环境搭建 3.1 准备工作 操作系统:Ubuntu 部署:Vmvare 在vmvare安装好一台Ubuntu虚拟机后,可以导出或者克隆出另外两台虚拟机. 说明: 保证虚拟机的ip和主机的ip在同一个ip段,这样几个虚拟机和主机之间可以相互…