Hadoop系列-HDFS基础

基本原理 HDFS(Hadoop Distributed File System)是Hadoop的一个基础的分布式文件系统,这个分布式的概念主要体现在两个地方: 数据分块存储在多台主机数据块采取冗余存储的方式提高数据的可用性针对于以上的分布式存储概念,HDFS采用了master/slave的主从结构来构建整个存储系统.之所以可以通过分散的机器组成一个整体式的系统,这其中机器之间的相互通讯必不可少.对于一个程序在不同机器上的通讯,主要是通过远程系统调用RPC(remote procedure…

每天收获一点点------Hadoop之HDFS基础入门

一.HDFS出现的背景随着社会的进步,需要处理数据量越来越多,在一个操作系统管辖的范围存不下了,那么就分配到更多的操作系统管理的磁盘中,但是却不方便管理和维护—>因此,迫切需要一种系统来管理多台机器上的文件,于是就产生了分布式文件管理系统,英文名成为DFS(Distributed File System). 那么,什么是分布式文件系统?简而言之,就是一种允许文件通过网络在多台主机上分享的文件系统,可以让多个机器上的多个用户分享文件和存储空间.它最大的特点是“通透性”,DFS让实际上是通过网络来…

Hadoop(1): HDFS基础架构

1. What's HDFS? Hadoop Distributed File System is a block-structured file system where each file is divided into blocks of a pre-determined size. These blocks are stored across a cluster of one or several machines. Apache Hadoop HDFS Architecture fol…

Hadoop系列-MapReduce基础

由于在学习过程中对MapReduce有很大的困惑,所以这篇文章主要是针对MR的运行机制进行理解记录,主要结合网上几篇博客以及视频的讲解内容进行一个知识的梳理. MapReduce on Yarn运行原理 Job提交 yarn由两个重要的jvm进程组成:ResourceManager.NodeManager.在客户端运行MapReduce Job之后,会首先向ResourceManager申请一个唯一的applicationID 判断Job的输出路径是否存在,如果存在则报错退出.这里之所以这样设计…

Hadoop系列-zookeeper基础

目前是刚刚初学完zookeeper,这篇文章主要是简单的对一些基本的概念进行梳理强化. zookeeper基础概念的理解有时候计算机领域很多名词都是从一长串英文提取首字母缩写而来,但很不幸zookeeper不是.那么,zookeeper到底是用来干什么的?我这里先摆一段官网的介绍: ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed…

hadoop系列二：HDFS文件系统的命令及JAVA客户端API

转载请在页首明显处注明作者与出处一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列一:hadoop集群安装二:HDFS的shell命令上一章说完了安装HADOOP集群部分,这一张讲HDFS. 其实基本上操作都是通过JAVA API来操作,所以这里的shell命令只是简单介绍一下,实际操作中自然是JAVA API更加方便,功能也更加强大,JAVA…

Hadoop 系列文章(二) Hadoop配置部署启动HDFS及本地模式运行MapReduce

接着上一篇文章,继续我们 hadoop 的入门案例. 1. 修改 core-site.xml 文件 [bamboo@hadoop-senior hadoop-2.5.0]$ vim etc/hadoop/core-site.xml 添加如下的配置: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://hadoop-senior.bamboo.com:8020<…

hadoop - hdfs 基础操作

hdfs --help # 所有参数 hdfs dfs -help # 运行文件系统命令在Hadoop文件系统 hdfs dfs -ls /logs # 查看 hdfs dfs -ls /user/ # 查看用户 hdfs dfs -cat hdfs dfs -df hdfs dfs -du hdfs dfs -rm hdfs dfs -tail hdfs dfsadmin -help # hdfs集群节点管理 hdfs dfsadmin -report # 基本的文件系统统计信息…

hadoop系列四:mapreduce的使用(二)

转载请在页首明显处注明作者与出处一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 此为mapreducer的第二章节这一章节中有着计算共同好友,推荐可能认识的人上一篇:hadoop系列三:mapreduce的使用(一) 一:说明二:在开发工具在运行mapreducer 2.1:本地模式运行mapreducer 2.2:在开发工具中运行在yarn中三:mapredu…

深入理解Hadoop之HDFS架构

Hadoop分布式文件系统(HDFS)是一种分布式文件系统.它与现有的分布式文件系统有许多相似之处.但是,与其他分布式文件系统的差异是值得我们注意的: HDFS具有高度容错能力,旨在部署在低成本硬件上.(高容错) HDFS提供对数据的高吞吐量访问,适用于具有海量数据集的应用程序.(高吞吐量) HDFS放宽了一些POSIX要求,以实现对文件系统数据的流式访问.(流式访问) HDFS最初是作为Apache Nutch网络搜索引擎项目的基础设施而构建的.HDFS是Apache Hadoop Core项…

Hadoop 系列（一）基本概念

Hadoop 系列(一)基本概念一.Hadoop 简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构,它可以使用户在不了解分布式底层细节的情況下开发分布式程序,充分利用集群的威力进行高速运算和存储. 从其定义就可以发现,它解決了两大问题:大数据存储.大数据分析.也就是 Hadoop 的两大核心:HDFS 和 MapReduce. HDFS(Hadoop Distributed File System)是可扩展.容错.高性能的分布式文件系统,异步复制,一次写入多次读取,…

hadoop之HDFS学习笔记（一）

主要内容:hdfs的整体运行机制,DATANODE存储文件块的观察,hdfs集群的搭建与配置,hdfs命令行客户端常见命令:业务系统中日志生成机制,HDFS的java客户端api基本使用. 1.什么是大数据基本概念 <数据处理> 在互联网技术发展到现今阶段,大量日常.工作等事务产生的数据都已经信息化,人类产生的数据量相比以前有了爆炸式的增长,以前的传统的数据处理技术已经无法胜任,需求催生技术,一套用来处理海量数据的软件工具应运而生,这就是大数据! 处理海量数据的核心技术: 海量数据存储:分布…

hadoop系列讨论

生产环境下cloudera的cdh版本更受欢迎,但是貌似cloudera对于YARN的开发力度不是很突出,所以在apache与cdh版本选择的时候,大家是怎么考虑的? 主要关注生产环境下的运维成本,期待更多人加入讨论,更希望有对cdh有运维经验的人来分享分享添加评论分享默认排序按时间排序 7 个回答 0赞同反对,不会显示你的姓名向磊东升乡无可匹敌的杰出司令官,校园西路天… 说实话,真觉得hortonworks的好,三种版本都玩过,还是更喜欢hortonworks,初学者喜欢用c…

Hadoop 系列 - （1） - 学习随笔 - 起源、构成

起源:Hadoop是google 的集群系统的开源实现 --Google集群系统,:GFS(Google file system),MapReduce,BigTable(严格意义上讲,这个不是hadoop的东西) --Hadoop 主要由 HDFS(Hadoop Distributed file system ---hadoop文件分布式系统)MapReduce和HBase组成两大核心: MapReduce : 组成 M…

非常不错 Hadoop 的HDFS （Hadoop集群（第8期）_HDFS初探之旅）

1.HDFS简介 HDFS(Hadoop Distributed File System)是Hadoop项目的核心子项目,是分布式计算中数据存储管理的基础,是基于流数据模式访问和处理超大文件的需求而开发的,可以运行于廉价的商用服务器上.它所具有的高容错.高可靠性.高可扩展性.高获得性.高吞吐率等特征为海量数据提供了不怕故障的存储,为超大数据集(Large Data Set)的应用处理带来了很多便利. Hadoop整合了众多文件系统,在其中有一个综合性的文件系统抽象,它提供了文件系统实现的各类接口…

hadoop系列一：hadoop集群安装

转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/6384393.html 一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 二:准备工作 2.1:准备安装虚拟机在虚拟机中安装centos操作系统,我安装了四个,主机名分别为server1到server4,具体可以随意安装,不限制数量,当然,如果是集群那就要两台以上…

Hadoop之HDFS原理及文件上传下载源码分析（下）

上篇Hadoop之HDFS原理及文件上传下载源码分析(上)楼主主要介绍了hdfs原理及FileSystem的初始化源码解析, Client如何与NameNode建立RPC通信.本篇将继续介绍hdfs文件上传.下载源解析. 文件上传先上文件上传的方法调用过程时序图: 其主要执行过程: FileSystem初始化,Client拿到NameNodeRpcServer代理对象,建立与NameNode的RPC通信(楼主上篇已经介绍过了) 调用FileSystem的create()方法,由于实现类为Dis…

hadoop系列三:mapreduce的使用(一)

转载请在页首明显处注明作者与出处 http://www.cnblogs.com/zhuxiaojie/p/7224772.html 一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6.4 上一篇:hadoop系列二:HDFS文件系统的命令及JAVA客户端API 在下面可以看到统计一本小说(斗破苍穹)哪些词语出现了最多. 本来mapreducer只想写一篇的,可是发现写一篇太长了,所…

Hadoop系列007-HDFS客户端操作

title: Hadoop系列007-HDFS客户端操作 date: 2018-12-6 15:52:55 updated: 2018-12-6 15:52:55 categories: Hadoop tags: [Hadoop,HDFS,HDFS客户端] 本人微信公众号,欢迎扫码关注! HDFS客户端操作 1 环境准备 1.1 Jar包准备 1)解压hadoop-2.7.2.tar.gz到非中文目录注意1:如果使用WinRAR解压报错的话,就使用超级管理员权限打开DOS窗口,然后cd到解压包…

Hadoop系列004-Hadoop运行模式（上）

title: Hadoop系列004-Hadoop运行模式(上) date: 2018-11-20 14:27:00 updated: 2018-11-20 14:27:00 categories: Hadoop tags: [Hadoop,框架,运行模式] 本人微信公众号,欢迎扫码关注! Hadoop运行模式 1.概述 1)官方网址官方网站:http://hadoop.apache.org/ 各个版本归档库地址:https://archive.apache.org/dist/hadoop/c…

Hadoop 系列（三）Java API

Hadoop 系列(三)Java API <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-hdfs</artifactId> <version>2.9.2</version> </dependency> <dependency> <groupId>org.apache.hadoop</grou…

Hadoop 系列文章(一) Hadoop 的安装,以及 Standalone Operation 的启动模式测试

以前都是玩 java,没搞过 hadoop,所以以此系列文章来记录下学习过程安装的文件版本.操作系统说明 centos-6.5-x86_64 [bamboo@hadoop-senior opt]$ uname -a Linux hadoop-senior.bamboo.com 2.6.32-696.16.1.el6.x86_64 jdk.hadoop [bamboo@hadoop-senior softwares]$ ll total 443172 -rw-r--r--. 1 bamboo b…

快速学习hadoop只有这些基础可不行

“学习hadoop需要什么基础”这已经不是一个新鲜的话题了,随便上网搜索一下就能找出成百上千篇的文章在讲学习hadoop需要掌握的基础.再直接的一点的问题就是——学Hadoop难吗?用一句特别让人无语的话回答就是:难不会,会不难! 趁着学校放假的时间,写了一些hadoop学习分享的文章.刚开始写的几篇稍微有点乱,其中有一篇就是在说学习hadoop需要什么样基础的.所谓的难不会,会不难,必然也是建立你现在的基础之上的.假定你连基础的计算机基础都没有,那可能真的就是“难不会”了.如果你是有一个良好的…

Hadoop系列之（二）：Hadoop集群部署

1. Hadoop集群介绍 Hadoop集群部署,就是以Cluster mode方式进行部署. Hadoop的节点构成如下: HDFS daemon: NameNode, SecondaryNameNode, DataNode YARN damones: ResourceManager, NodeManager, WebAppProxy MapReduce Job History Server 2. 集群部署本次测试的分布式环境为:Master 1台 (test166),Slave 1台(t…

学hadoop需要什么基础

最近一段时间一直在接触关于hadoop方面的内容,从刚接触时的一片空白,到现在也能够说清楚一些问题.这中间到底经历过什么只怕也就是只有经过的人才会体会到吧.前几天看到有个人问“学hadoop需要什么基础”,这个问题好像至今还没好好细想过,可能是因为身边有大神在带着我学习hadoop的缘故,也就没想过这样的一个简单的问题. 我们目前在用的hadoop版本并不是原生态的版本,我们在用的是国内的一款商业发行版,叫DKhadoop.大快搜索推出的一款原生态开发的Hadoop集成生态环境.从使用的效果上看…

Hadoop 系列（二）安装配置

Hadoop 系列(二)安装配置 Hadoop 官网:http://hadoop.apache.or 一.Hadoop 安装 1.1 Hadoop 依赖的组件 JDK :从 Oracle 官网下载,设置环境变量(JAVA_HOME.PATH 和 CLASSPATH). SSH(安全外壳标议) :推荐安装 Openssh. Hadoop 需要通过 SSH 来启动 Slave 列表中各台主机的守护进程,因此 SSH 也是必须安装的,即使是安装伪分布式版本(因为 Hadoop 并没有区分开集群式和伪分…