一.简介 HDFS[Hadoop Distributed File System]是Hadoop组件中的分布式存储系统,提供高可靠性.高扩展性和高吞吐率的数据存储服务. 二.存储模型 1.文件线性切割成块[Block],块分散存储在集群的各个节点中. 2.单一文件Block大小一致,不同的文件可以设置的不一样. 3.Block可以设置副本数,副本分散在不同的节点[副本数不要超过节点数,这样副本设置才有意义]. 4.文件上传可以设置Block大小和副本数,已上传的文件Block副本数可以调整,大小…

Spark快速入门 - Spark 1.6.0 转载请注明出处:http://www.cnblogs.com/BYRans/ 快速入门(Quick Start) 本文简单介绍了Spark的使用方式.首先介绍Spark的交互界面的API使用,然后介绍如何使用Java.Scala以及Python编写Spark应用.详细的介绍请阅读Spark Programming Guide. 在按照本文进行操作之前,请确保已安装Spark.本文中的所有操作没有使用HDFS,所以您可以安装任何版本的Hadoop.…

目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会,比如在HDFS上运行示例程序或简单作业等. 先决条件 支持平台 GNU/Linux是产品开发和运行的平台. Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证. Win32平台是作为开发平台支持的.由于分布式操作尚未在Win32平台上充分测试,所以还不作为一个生产平台被支持. 所需软件 Linux和Windows所需软件…

一.快速入门 (一)下载安装 1.下载并解压 wget http://archive.cloudera.com/cdh5/cdh/5/sqoop-1.4.4-cdh5.1.2.tar.gz tar -zxvf sqoop-1.4.4-cdh5.1.2.tar.gz 2.将sqoop中的命令添加至$PATH中 export PATH=$PATH:/home/jediael/setupfile/sqoop-1.4.4-cdh5.1.2/bin 3.验证安装 jediael@jediael:~/set…

快速入门 使用 Spark Shell 进行交互式分析 基础 Dataset 上的更多操作 缓存 独立的应用 快速跳转 本教程提供了如何使用 Spark 的快速入门介绍.首先通过运行 Spark 交互式的 shell(在 Python 或 Scala 中)来介绍 API, 然后展示如何使用 Java , Scala 和 Python 来编写应用程序. 为了继续阅读本指南, 首先从 Spark 官网 下载 Spark 的发行包.因为我们将不使用 HDFS, 所以你可以下载一个任何 Hadoop 版…

Spark 快速入门   本教程快速介绍了Spark的使用. 首先我们介绍了通过Spark 交互式shell调用API( Python或者scala代码),然后演示如何使用Java, Scala或者Python编写独立程序. 你可以查看Spark编程指南了解完整的参考.   开始下面的快速入门之前,首先需要到Spark网站下载一份打包好的spark. 既然本教程中我们不使用HDFS,你可以随便下载一个适配任何Hadoop的版本的Spark.   本教程翻译时的Spark版本为1.1.1   使用…

Hadoop生态圈-大数据生态体系快速入门篇 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.大数据概念 1>.什么是大数据 大数据(big data):是指无法在一定时间范围内用常规软件进行捕捉,管理和处理的数据集合,是需要新处理模式才能具有更强的决策力,洞察发现力和流程优化能力的海量,高增长率和多样化的信息资产. 大数据技术主要解决两个问题,即海量的存储和海量的数据的分析计算. 2>.数据存储单位介绍 按照顺序给出数据存储单位如:Bit,Byte,KB,MB,GB,T…

Spark SQL快速入门 本地表 (1)准备数据 [root@node1 ~]# mkdir /tmp/data [root@node1 ~]# cat data/ml-1m/users.dat |tr -s "::" "," >> /tmp/data/users.dat [root@node1 ~]# tail - /tmp/data/users.dat ,F,,, ,F,,, ,F,,, ,F,,, ,M,,, [root@node1 ~]# (2…

第1章 Flume概述1.1 Flume定义1.2 Flume组成架构1.2.1 Agent1.2.2 Source1.2.3 Channel1.2.4 Sink1.2.5 Event1.3 Flume拓扑结构1.4 Flume Agent内部原理1.5 Hadoop三大发行版本第2章 Flume快速入门2.1 Flume安装地址2.2 安装部署第3章 Flume企业开发案例3.1 监控端口数据官方案例3.2 实时读取本地文件到HDFS案例3.3 实时读取目录文件到HDFS案例3.4 单数据源多…

Hadoop生态圈-Hive快速入门篇之HQL的基础语法 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 本篇博客的重点是介绍Hive中常见的数据类型,DDL数据定义,DML数据操作以及常用的查询操作.如果你没有hive的安装环境的话,可以参考我之前分析搭建hive的笔记:https://www.cnblogs.com/yinzhengjie/p/9154324.html 一.Hive常见的属性配置 1>.Hive数据仓库位置配置 >.Default数据仓库的最原始位置在“h…