* 1.设置url支持hadoop,FsUrlStreamHandlerFactory      * 2.创建URL对象,指定访问的HDFS路径      * 3.openStream获取输入流对象,也就是读取的内容      * 4.使用Hadoop的OIUtils工具类对输入流输出到控制台     public static void main(String[] args) throws Exception { //通过eclipse远程调用hadoop方式访问,传入一个参数也就是hdfs的

package com.hadoop; import java.io.IOException; import java.io.InputStream; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public class URLCat { static { URL.setURLStreamHandlerFactory

HDFS的API操作 URL方式访问 package hdfs; import java.io.IOException; import java.io.InputStream; import java.net.MalformedURLException; import java.net.URL; import org.apache.hadoop.fs.FsUrlStreamHandlerFactory; import org.apache.hadoop.io.IOUtils; public cl

hadoop job -list 列出正在运行的job hadoop job -kill kill掉job hadoop fsck 检查HDFS坏快 hadoop dfsadmin -report检查HDFS状态包括NN信息 hadoop dfsadmin -safemode enter|leave 安全模式的进出 hadoop distcp URL 集群之间的拷贝 ./bin/start-balancer.sh 平衡集群文件

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersio

http://www.linuxidc.com/Linux/2012-02/53106.htm 一.环境 Ubuntu 10.10+jdk1.6 二.下载&安装程序 1.1 Apache Hadoop: 下载Hadoop Relase:http://hadoop.apache.org/common/releases.html 解压:tar xzf hadoop-x.y.z.tar.gz 1.2 安装JDK1.6:sudo apt-get install sun-java6-jdk 三.配置环境变

hadoop配置文件:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.9.0/ 一:Hadoop简介 总结下起源于Nutch项目,社区贡献最多是Tom White,之后被雅虎关注,发展越来越好,在医疗健康领域和分子生物领域有很多应用 能做的事:可以搭建一个处理数据的基础平台:. 1.提高读取速度 原理:想要读100T数据,在一个硬盘上时间肯定会很长,但是如果将其分布在100个硬盘上,再将硬盘文件共享,此时读取数据的速度就能提升10

若想远端访问控制台,需打开对于端口 TCP 服务端口占用 EMQ 2.0 消息服务器默认占用的 TCP 端口包括: 1883 MQTT 协议端口 8883 MQTT/SSL 端口 8083 MQTT/WebSocket 端口 8080 HTTP API 端口 18083 Dashboard 管理控制台端口 EMQ 2.0 占用的上述端口,可通过 etc/emq.conf 配置文件的 ‘listener’ 段落设置: ## TCP Listener: 1883, 127.0.0.1:1883, :

1. 测试环境 操作系统 CentOS 6.5. 总共5台机器,前两台作为namenode,称之为 nn01.nn02:后三台作为datanode,称为 dn01.dn02.dn03. 每台机器的内存为8GB.确保每台机器都有 8GB 以上内存,因为 HBase 对配置的要求很高,如果低于 8GB,有可能会卡到,出现各种超时故障. 每台机器的硬盘为 60GB.只要保证有一个分区达到30GB以上就可以了,到时候用这个分区来存放Hadoop和HBase的数据和日志. JDK版本为Oracle JDK

1. Reading data from a hadoop URL 说明:想要让java从hadoop的dfs里读取数据,则java 必须能够识别hadoop hdfs URL schema, 因此我们应该将hdfs的FsUrlStreamHandlerFactory作为一个实例提供给java, java的setURLStreamHandlerFactory方法可以实现此功能: 注意:此方法有缺陷,由于在java里,setURLStreamHandlerFactorymethod在每一个JVM里

0x01 weblogic下载安装 去Oracle官网下载Weblogic 10.3.6,选择Generic版本,各版本选择下载地址:http://www.oracle.com/technetwork/middleware/weblogic/downloads/wls-main-097127.html Weblogic 10.3.6 下载地址:http://download.oracle.com/otn/nt/middleware/11g/wls/1036/wls1036_generic.jar

presto 0.217 官方:http://prestodb.github.io/ 一 简介 Presto is an open source distributed SQL query engine for running interactive analytic queries against data sources of all sizes ranging from gigabytes to petabytes. Presto was designed and written from

现在,大多数公司都试图将它们的 IT 基础设施和电信设施迁移到私有云, 如 OpenStack.如果你打算面试 OpenStack 管理员这个岗位,那么下面列出的这些面试问题可能会帮助你通过面试.-- Pradeep Kumar 现在,大多数公司都试图将它们的 IT 基础设施和电信设施迁移到私有云, 如 OpenStack.如果你打算面试 OpenStack 管理员这个岗位,那么下面列出的这些面试问题可能会帮助你通过面试. Q:1 说一下 OpenStack 及其主要组件? 答: OpenSta

OpenStack和VNC Openstack默认安装的訪问控制台基于VNC的.我们从Horizon进入主机实例的控制台,就是noVNC.我在之前的一篇文章里专门对noVNC也做过測试(http://blog.csdn.net/chao_beyond/article/details/24922397).这里不讨论noVNC的原理,主要罗列下我在使用OpenStack过程其中.关于VNC的几点记录: 1. 通过nova  get-vnc-console <server id>  novnc命令.

MapReduce五大过程已经分析过半了.上次分析完Map的过程,着实花费了我的非常多时间.只是收获非常大,值得了额,这次用相同的方法分析完了Reduce的过程,也算是彻底摸透了MapReduce思想的2个最最重要的思想了吧. 好,废话不多,切入正题,在学习Reduce过程分析的之前,我特意查了书籍上或网络上相关的资料.我发现非常大都是大同小异.缺乏对于源代码的參照分析.所以我个人觉得.我了能够在某些细节上讲得跟明确些,或许会比較好.由于Map和Reduce的过程的总体流程是非常相近的,假设你看

(1)安装oracle10g备注: ① 检查安装版本是否复合安装主机的硬件要求,避免版本不兼容.如64位的oracle就不能在x86的机器上运行安装. ② 检查安装主机是否满足oracle的硬件要求,内存和磁盘空间是否足够,避免安装失败.最好安装在非系统盘. ③ 检查主机以前是否安装过oracle,注册表中是否还有未清除的oracle键值信息.否则安装会出错. ④ 选择基本安装,同时创建启动数据库,默认为orcl.这时默认全局数据库和系统标识符SID为一致orcl并指定默认DBA的统一口令.安装

Hue的安装与部署 hadoop hue Hue 简介 Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的.通过使用Hue我们可以在浏览器端的Web控制台上与Hadoop集群进行交互来分析处理数据,例如操作HDFS上的数据,运行MapReduce Job等等.很早以前就听说过Hue的便利与强大,一直没能亲自尝试使用,下面先通过官网给出的特性,通过翻译原文简单

本文转自:http://ifeve.com/spark-mesos-spark/ 在Mesos上运行Spark Spark可以在由Apache Mesos 管理的硬件集群中运行. 在Mesos集群中使用Spark的主要优势有: 可以在Spark以及其他框架(frameworks)之间动态划分资源. 可以同时部署多个Spark实例,且各个实例间的资源分配可以调整. 工作原理 在独立部署的Spark集群中,下图里的Cluster Manager代表Spark master.然而,在Mesos集群中,

配置文件: EMQ 配置文件: /etc/emqttd/emq.conf 插件配置文件: /etc/emqttd/plugins/*.conf 日志文件 日志文件目录: /var/log/emqttd 数据文件 数据文件目录:/var/lib/emqttd/ 启动停止 systemctl start|stop|restart emqttd.service 控制台调试模式启动,检查emqttd是否可正常启动: cd emqttd && ./bin/emqttd console CTRL+c关

公司平台的分布式文件系统基于Hadoop HDFS技术构建,为开发人员学习及后续项目中Hadoop HDFS相关操作提供技术参考特编写此文档.本文档描述了Linux单机环境下Hadoop HDFS伪分布式集群的安装步骤及基本操作,包括:Hadoop HDFS的安装.配置.基本操作等内容. 参考文档 <Hadoop: Setting up a Single Node Cluster.> http://hadoop.apache.org/docs/r2.7.5/hadoop-project-dis

ELK搭建实时日志分析平台 导言 ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成,ELK平台可以同时实现日志收集.日志搜索和日志分析的功能.对于生产环境中海量日志信息的分析处理无疑不是一个好的解决方案. 官方网站:https://www.elastic.co/ 1).Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. 2).Logstash是一