Httpfs是hadoop2.x中hdfs项目的内置应用,基于tomcat和jesery,对外提供完备HDFS操作的RESTful接口,无需安装客户端,可方便实现数据交互,如从windows访问存储在hdfs上的文件.本文通过Httpfs说明文档,实现了一个基于libcurl和jsoncpp的httpfs客户端程序(C++). 1.准备工作 1.1 编译jsoncpp jsoncpp下载地址:https://codeload.github.com/open-source-parsers/json…

httpfs安装指南 安装环境 Linux maven3 jdk1.6 本地的maven源(有些依赖的jar包Cloudera已不再维护) 1.下载httfs源代码包 https://github.com/cloudera/httpfs 使用git下载 git clone https://github.com/cloudera/httpfs.git 2.改动pom.xml文件 在<dependencies>中添加依赖 <dependency> <groupId>org.…

因为hadoop集群中需要配置一个图形化管理数据的截面,后来找到HUE,那么在配置HUE的过程中,发现需要配置httpfs,因为配置了httpfs,hue才能去操作hdfs中的数据. HttpFs能干啥呢,它可以使你能在浏览器中管理HDFS上的文件,例如在HUE中:它还提供了一套REST风格的API用来管理HDFS 1 集群环境 Ubuntu-14.10 openjdk-7 hadoop-2.6.0 HA(双NN) hue-3.8.1(development) 2 安装 因为hadoop中自带了…

参考 Hadoop权威指南 第3章中3.4节 背景 要写一个操作HDFS的web后台(文件CRUD),虽然可以直接使用HDFS提供的FileSystem类然后通过get方法获取到一个DistributedFileSystem(假设提供的文件url的模式是hdfs://开头)的实例来操作HDFS,但是这种方法有个限制就是调用方必须能和HDFS集群中的所有主机通信.然后这个要求有时并不能满足,比如HDFS集群部署在一个内部隔离网络中,而WEB服务器部署在另外一个网络中,虽然namenode做了NAT…

HDFS支持两种RESTful接口:WebHDFS和HttpFS. WebHDFS默认端口号为50070,HttpFS默认端口号为14000. 默认启动WebHDFS而不会启动HttpFS,而HttpFS需要通过sbin/httpfs.sh来启动. WebHDFS模式客户端和DataNode直接交互,HttpFS是一个代理模式.对于Hue,如果HDFS是HA方式部署的,则只能使用HttpFS模式. HttpFS是独立的模块,有自己的配置文件httpfs-site.xml.环境配置文件httpfs…

不多说,直接上干货! 我的集群机器情况是 bigdatamaster(192.168.80.10).bigdataslave1(192.168.80.11)和bigdataslave2(192.168.80.12) 然后,安装目录是在/home/hadoop/app下. 官方建议在master机器上安装Hue,我这里也不例外.安装在bigdatamaster机器上. Hue版本:hue-3.9.0-cdh5.5.4 需要编译才能使用(联网) 说给大家的话:大家电脑的配置好的话,一定要安装clou…

基于hadoop 2.7.1版本 一.简介 1. WebHDFS官方简介: Introduction The HTTP REST API supports the complete FileSystem/FileContext interface for HDFS. 2.HttpFS GateWay官方简介: HttpFS is a server that provides a REST HTTP gateway supporting all HDFS File System operation…

在项目中使用到hdfs作为存储,为了在不同的节点加载hdfs上的数据,我们使用nfsv3服务,在客户端使用 root来mount hdfs上的数据到本地,然后把本地的数据发到hdfs上,因为这个我们的集群namenode是HA的, 所以在mount前,需要确认active的namenode,而且比较不爽的事,如果客户端的机器/etc/hosts中需要配置所有的datanodes机器信息. 后来找到的解决方案是使用httfs,它本质上是一个代理,是java jetty web程序,直接运行在可以在…

编辑文件httpfs-env.sh 执行sbin/httpfs.sh 执行命令curl -i "http://192.168.1.213:14000/webhdfs/v1?user.name=root&op=LISTSTATUS" 更多命令参考http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html 编辑文件httpfs-env.sh 编辑文件core-site.xml &…

最近有一个需求,要求使用httpfs读取数据,一开始看到httpfs这个词,第一感觉是不是多了个f,是不是https,后来百度一下,其实不然. httpfs其实是使用http协议访问hdfs文件系统: HttpFS是一台提供REST HTTP网关的服务器,该网关支持所有HDFS文件系统操作(读取和写入).并且可以与webhdfs REST HTTP API 互操作. HttpFS可用于在运行不同版本Hadoop的群集之间传输数据(克服RPC版本问题),例如使用Hadoop DistCP. Htt…

参考: https://docs.cloudera.com/documentation/enterprise/6/6.2/topics/admin_httpfs.html#xd_583c10bfdbd326ba-590cb1d1-149e9ca9886--7968__section_dmb_3s1_bn hdfs实例子: 添加角色实例-选择httpfs---在NN上: 启动httpfs角色: 在hue--配置中选择: 重启hue 之后HUE的用户就能在自己的家目录在正常导出数据了.…

原文出处: https://www.ibm.com/support/knowledgecenter/en/SSPT3X_3.0.0/com.ibm.swg.im.infosphere.biginsights.admin.doc/doc/kerberos_httpfs.html 使用带有以下密码和keytab的example_user @ BIGDATA-HEBOAN.COM 运行kinit 密码 example_user@host ~] $ /path/to/MIT/kinit example_…

编译cdh版hadoop2.5.0出现的问题 系统: CentOs66 64位 JDK:1.7 Maven: 3.0.5 Protobuf: libprotoc 2.5.0 编译命令: mvn package -DskipTests -Pdist,native **************************************************************************************** [INFO] -----------------------…

Alex 的 Hadoop 菜鸟教程: 第1课 hadoop体系介绍 Alex 的 Hadoop 菜鸟教程: 第2课 hadoop 安装教程 (CentOS6 CDH分支 yum方式) Alex 的 Hadoop 菜鸟教程: 第3课 Hadoop 安装教程 - 非HA方式 (一台服务器) Alex 的 Hadoop 菜鸟教程: 第4课 Hadoop 安装教程 - HA方式 (2台服务器) Alex 的 Hadoop 菜鸟教程: 第5课 YARN 安装以及helloworld (基于centos的…

目录 [TOC] 1.CDH介绍 1.1.什么是CDH和CM? CDH一个对Apache Hadoop的集成环境的封装,可以使用Cloudera Manager进行自动化安装. Cloudera-Managerceql(本文中简称CM)是一个工具,CM能够管理一个大的Hadoop cluster并不是一只要下载tar files什么压缩并启动services这么简单.后续有非常多设定.监控等麻烦的事要处理,CM都能够做到,有些类似Casti.Cloudera Manager整合了一列的功能让系统…

1.实在是在安装CDH的时候无法安装成功的话,只有重新启动了,下面给大家分享一个神器,按照这个脚本应该差不多就能卸载干净,然后重新安装,写一个脚本,内容如下,救命的神器呀: #!/bin/bash sudo /usr/share/cmf/uninstall-cloudera-manager.sh sudo service cloudera-scm-server stop sudo service cloudera-scm-server-db stop sudo service cloudera-…

如何编译Apache Hadoop2.6.0源代码 1．安装CentOS 我使用的是CentOS6.5,下载地址是http://mirror.neu.edu.cn/centos/6.5/isos/x86_64/,选择CentOS-6.5-x86_64-bin-DVD1.iso 下载,注意是64位的,大小是4GB,需要下载一段时间的.其实6.x的版本都可以,不一定是6.5. 我使用的是VMWare虚拟机,分配了2GB内存,20GB磁盘空间.内存太小,会比较慢:磁盘太小,编译时可能会出现空间不足的情…

本文转载自http://blog.csdn.net/liuwenbo0920/article/details/40504045 1.安装准备工作: 已经装好的hadoop环境是hadoop 2.2.0下载的sqoop安装包(注意是hadoop200) 下载sqoop  wget  http://mirrors.cnnic.cn/apache/sqoop/1.99.6/sqoop-1.99.3-bin-hadoop200.tar.gz 2.解压文件到工作目录: 将sqoop解压到目标目录,我的是 …

搭建环境:Centos x 6.5  64bit (后来:我才知道原来官网上发布的就是64位的,不过这个对我来说是个学习过程,对以后进行其他平台编译的时候有帮助!) 1.安装JDK 我这里用的是64位机,要下载对应的64位的JDK,下载地址:http://www.oracle.com/technetwork/cn/java/javase/downloads/jdk7-downloads-1880260-zhs.html, 选择对应的JDK版本,解压JDK,然后配置环境变量, vi /etc/pr…

hadoop官方网站中只提供了32位的hadoop-2.2.0.tar.gz,如果要在64位ubuntu下部署hadoop-2.2.0,就需要重新编译源码包,生成64位的部署包.建议以下操作使用root账户,避免出现权限不足的问题. 安装jdk 请参考文章<在ubuntu中安装jdk>. 安装maven 请参考文章<在ubuntu中安装maven>. 下载hadoop源码 wget http://mirror.bit.edu.cn/apache/hadoop/common/hado…

一.基本环境搭建 1. 准备 hadoop-2.5.0-src.tar.gz apache-maven-3.0.5-bin.tar.gz jdk-7u67-linux-x64.tar.gz protobuf-2.5.0.tar.gz 可联外部网络 2. 安装 jdk-7u67-linux-x64.tar.gz 与 apache-maven-3.0.5-bin.tar.gz [liuwl@centos66-bigdata-hadoop ~]$ vi /etc/profile #JAVA_HOME…

总体介绍 虚拟机4台,分布在1个物理机上,配置基于hadoop的集群中包括4个节点: 1个 Master, 3个 Salve,i p分布为: 10.10.96.33 hadoop1 (Master) 10.10.96.59 hadoop2 (Slave) 10.10.96.65 hadoop3 (Slave) 10.10.96.64 hadoop4 (Slave) 操作系统为Red Hat Enterprise Linux Server release 6.4,GNU/Linux 2.6.32…

1.概述 最近,有小伙伴涉及到源码编译.然而,在编译期间也是遇到各种坑,在求助于搜索引擎,技术博客,也是难以解决自身所遇到的问题.笔者在被询问多次的情况下,今天打算为大家来写一篇文章来剖析下编译的细节,以及遇到编译问题后,应该如何去解决这样类似的问题.因为,编译的问题,对于后期业务拓展,二次开发,编译打包是一个基本需要面临的问题. 2.编译准备 在编译源码之前,我们需要准备编译所需要的基本环境.下面给大家列举本次编译的基础环境,如下所示: 硬件环境 操作系统 CentOS6.6 CPU I7 内…

有些时候需要在远程机器上执行命令,如果每次都等进去挺麻烦的,所以用脚本执行会方便很多.下面介绍一下在shell脚本中执行远程命令. 1,首先写好要运行的脚本 run-command.sh, 加上执行权限 chmod +x test.sh 2,把脚本文件放到远程服务器对应的用户目录 3,在本机执行 ssh remote_user@remote_ip "source /etc/profile;~/run-command.sh" 4,加上/etc/profile这样就不会出现找不到自己的环境…

机器准备 物理机器 总 共4台,想配置基于物理机的hadoop集群中包括 4 个 节点: 1 个 Master , 3 个 Salve , 节点之间局域网连接,可以相互 ping 通Ip分布 为192.168.1.201 hadoop1192.168.1.202 hadoop2192.168.1.203 hadoop3192.168.1.204 hadoop4 操作系 统为 CentOS 5.6 64bitMaster机器主要配置NameNode和JobTracker的角色, 负责总 管分布式数…

Apache Hadoop生态系统安装包下载地址:http://archive.apache.org/dist/ 软件安装目录:~/app jdk: jdk-7u45-linux-x64.rpm hadoop: hadoop--src.tar.gz maven: apache-maven--bin.zip protobuf: protobuf-.tar.gz 1.下载hadoop wget http://archive.apache.org/dist/hadoop/core/stable/had…

使用yum安装CDH Hadoop集群 2013.04.06 Update: 2014.07.21 添加 lzo 的安装 2014.05.20 修改cdh4为cdh5进行安装. 2014.10.22 添加安装 cdh5.2 注意事项. 1.cdh5.2 发布了,其中 YARN 的一些配置参数做了修改,需要特别注意. 2.Hive 的元数据如果使用 PostgreSql9.X,需要设置 standard_conforming_strings 为 off 环境 CentOS 6.4 x86_64 C…

一.环境搭建 1.  下载安装配置 <OD大数据实战>Hadoop伪分布式环境搭建 2. Hadoop配置信息 1)${HADOOP_HOME}/libexec:存储hadoop的默认环境变量信息 (1)hadoop-config.sh (2)hdfs-config.sh (3)mapred-config.sh (4)yarn-config.sh (5)httpfs-config.sh & kms-config.sh 2)${HADOOP_HOME}/etc/hadoop:搭建环境时配…

官网: http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6/ 一.Hue环境搭建 1. 下载 http://archive.cloudera.com/cdh5/cdh/5/hue-3.7.0-cdh5.3.6.tar.gz 2. 解压 -cdh5.3.6.tar.gz -C /opt/modules/cdh/ 3. 安装依赖包 sudo yum -y install ant asciidoc cyrus-sasl-devel cyr…

生成yum源 cd /var/ftp/pub/cdh/5 createrepo --update . 从节点 yum clean all 配置yum库 /etc/yum.repos.d # cat /etc/yum.repos.d/cloudera-cdh.repo [hadoop]name=hadoopbaseurl=ftp://192.168.34.135/pub/cdh/5/enabled=1gpgcheck=0 安装JDK yum install jdk echo "export JAV…