httpfs安装指南

安装环境

Linux

maven3

jdk1.6

本地的maven源(有些依赖的jar包Cloudera已不再维护)

  • 1.下载httfs源代码包

https://github.com/cloudera/httpfs

使用git下载

git clone https://github.com/cloudera/httpfs.git

  • 2.改动pom.xml文件

在<dependencies>中添加依赖

<dependency>

<groupId>org.apache.hadoop</groupId>

<artifactId>hadoop-core</artifactId>

<version>${cdh.hadoop.version}</version>

</dependency>

  • 3.下载所须要的依赖,

mvn clean:install

当中有些依赖的jar包已不在Cloudera的源上了,须要自己设置maven源,在~/.m2/setting.xml中添加自己的源

  • 4.编译打包

mvn package -Pdist

生成的hadoop-hdfs-httpfs-0.20.2-cdh3u6.tar.gz包在target文件夹下

  • 5.改动hadoop集群的全部机器的core-site.xml文件

在当中增加下面内容

<property>

<name>hadoop.proxyuser.httpfs.hosts</name>

<value>httpfs-host.foo.com</value>

</property>

<property>

<name>hadoop.proxyuser.httpfs.groups</name>

<value>*</value>

</property>

重新启动hadoop集群

  • 6.在要安装httpfs的机器上创建httpfs用户

useradd --create-home --shell /bin/bash httpfs 

passwd httpfs

  • 7.安装httpfs

将hadoop-hdfs-httpfs-0.20.2-cdh3u6.tar.gz包拷贝到/home/httpfs文件夹下解压

进入到解压出来的文件夹hadoop-hdfs-httpfs-0.20.2-cdh3u6

将现网集群的hadoop配置文件core-site.xml和hdfs-site.xml拷贝到/home/httpfs/hadoop-hdfs-httpfs-0.20.2-cdh3u6/etc/hadoop文件夹下

  • 8.改动httpfs-site.xml

在当中增加

<property>

<name>httpfs.proxyuser.httpfs.hosts</name>

<value>*</value>

</property>

<property>

<name>httpfs.proxyuser.httpfs.groups</name>

<value>*</value>

</property>

  • 9.启动httpfs

使用httpfs用户启动

/home/httpfs/hadoop-hdfs-httpfs-0.20.2-cdh3u6/sbin/httpfs.sh start

  • 10.检查

检查进程是否存在:jps看看有没有Bootstrap进程

查看logs文件夹下httpfs.log和其它log有无异常信息

  • 11.curl測试

上传文件

curl -i -X PUT "http://172.16.61.154:14000/webhdfs/v1/tmp/testfile?user.name=bdws&op=create"

依据返回回来的URL再次put

curl -i -X PUT -T test.txt --header "Content-Type: application/octet-stream" "http://172.16.61.154:14000/webhdfs/v1/tmp/testfile?op=CREATE&user.name=bdws&data=true"

下载文件

curl -i "http://172.16.61.154:14000/webhdfs/v1/tmp/testfile?user.name=bdws&op=open" 

HTTP/1.1 200 OK

Server: Apache-Coyote/1.1

Set-Cookie: hadoop.auth="u=bdws&p=bdws&t=simple&e=1400181237161&s=F5K1C44TbM/tMjbdFUpM+zExtso="; Version=1; Path=/

Content-Type: application/octet-stream

Content-Length: 20

Date: Thu, 15 May 2014 09:13:57 GMT

this is a test file

  • 12.參考:

Hadoop HDFS over HTTP 0.20.2-cdh3u6 - Server Setup

http://cloudera.github.io/httpfs/ServerSetup.html

WebHDFS说明,非常具体包含命令的使用

http://zhangjie.me/webhdfs/

Apache hadoop webhdfs api文档

http://hadoop.apache.org/docs/r1.0.4/webhdfs.html

httpfs安装指南的更多相关文章

  1. nGrinder安装指南

    NGrinder 由两个模块组成,其运行环境为 Oracle JDK 1.6 nGrinder controller  web 应用程序,部署在Tomcat 6.x 或更高的版本 nGrinder A ...

  2. postgresql pgsql最新版安装指南及数据存储路径更改及主从配置

    postgresql pgsql最新版安装指南及数据存储路径更改及主从配置 安装指南 首先在apt的list添加你当前系统版本对应的apt列表 目前官网有16.04,14.04,12.04 分别对应下 ...

  3. 全新 Mac 安装指南(编程篇)(环境变量、Shell 终端、SSH 远程连接)

    注:本文专门用于指导对计算机编程与设计(尤其是互联网产品开发与设计)感兴趣的 Mac 新用户,如何在 Mac OS X 系统上配置开发与上网环境,另有<全新 Mac 安装指南(通用篇)>作 ...

  4. 全新 Mac 安装指南(通用篇)(推荐设置、软件安装、推荐软件)

    注:本文将会不定期维护与更新,有需要的朋友请在 Github 上订阅该条 Issues:<全新 Mac 安装指南(通用篇)>. 在 Mac 电脑上只用 Windows 操作系统的同学请看到 ...

  5. ArchLinux安装指南

    将ArchLinux作为进阶Linux发行版,主要看重滚动更新和深入理解Linux的安装过程. 由于是新手,所以先选择在公司电脑上用VMware来安装.然后渐进到借助U盘在win10笔记本上安装双系统 ...

  6. Linux环境中Openfire安装指南

    Linux环境中Openfire安装指南 安装环境: 安装软件:Openfire 4_1_0 http://download.igniterealtime.org/openfire/openfire_ ...

  7. scrapy3_ 安装指南

    安装指南 安装Scrapy 注解 请先阅读 平台安装指南. 下列的安装步骤假定您已经安装好下列程序: Python 2.7 Python Package: pip and setuptools. 现在 ...

  8. storm 原理简介及单机版安装指南——详细版【转】

    storm 原理简介及单机版安装指南 本文翻译自: https://github.com/nathanmarz/storm/wiki/Tutorial 原文链接自:http://www.open-op ...

  9. mac osx 系统 brew install hadoop 安装指南

    mac osx 系统 brew  install hadoop 安装指南   brew install hadoop 配置 core-site.xml:配置hdfs文件地址(记得chmod 对应文件夹 ...

随机推荐

  1. 分布式框架Dubbo入门

    Dubbo简介 Dubbo是一个Alibaba开源额分布式服务框架,致力于提供高性能和透明化的RPC远程服务调用方案,以及SOA服务治理方案.dubbo就是个服务框架,只有在分布式的时候,才有dubb ...

  2. JavaScript系列----正则表达式

    1.正则表达式 1.1.正则表达式的类型 正则表达式在JavaScript中,提供了一种内置的构造函数--RegExp. 正则表达式有三种匹配模式: g: 表示全局模式,即模式应用于所有的字符串,而非 ...

  3. JavaScript之数组五大迭代方法总结

    ES5定义了五个迭代方法,每个方法都接收两个参数:要在每一项上运行的函数和运行该函数的作用域对象(可选的),作用域对象将影响this的值.传入这些方法中的函数会接收三个参数:数组的项的值.该项在数组中 ...

  4. eclipse导出jar(含依赖)三步走

    之前用eclipse导出jar运行结果一直不尽人意,排查问题排查很久,最终确定到导出jar时,如果依赖jdk以外的jar时,就要通知eclipse 看了很多帖子,感觉操作起来都比较麻烦,注意点也比较多 ...

  5. C# 插入排序(数据结构与算法)

    1                                                                   }

  6. CLR类型设计之泛型(二)

    在上一篇文章中,介绍了什么是泛型,以及泛型和非泛型的区别,这篇文章主要讲一些泛型的高级用法,泛型方法,泛型接口和泛型委托,协变和逆变泛型类型参数和约束性,泛型的高级用法在平时的业务中用的不多,多用于封 ...

  7. js中变量的作用域、变量提升、链式作用域结构

    一:作用域 在ES6之前,javascript没有块级作用域(一对{}即为一个块级作用域),只有全局作用域和函数作用域(局部),因此,对应的有全局变量和局部变量.在函数内部可以访问到全局变量,但在函数 ...

  8. 总结HTML5的学习方法大汇总

    html5学习方法之技能清单: 必须掌握基本的Web前端开收技术,其中包括:CSS.HTML.DOM.java.Ajax,jquery,Vue,jquery- mobile,zepto等,在掌握这些技 ...

  9. PHP时间戳和日期互转换

    在php中我们要把时间戳转换日期可以直接使用date函数来实现,如果要把日期转换成时间戳可以使用strtotime()函数实现,下面我来给大家举例说明. 1.php中时间转换函数 strtotime ...

  10. 实际应用中遇到TimedRotatingFileHandler不滚动的问题

    需求: 程序每天晚上8点和10点定时运行,期望日志按日期记录 添加Handler部分代码如下: formatter = logging.Formatter("%(asctime)s %(fi ...