本文没有提到的原则.谈论hadoop项目周边,它的作用. hadoop这个词已经流行了很多年.大数据的记载会认为hadoop,然后hadoop的作用是什么呢? 官方定义:hadoop是一个开发和执行处理大规模数据的软件平台.核心词语是平台,也就是说我们有大量的数据,又有好几个电脑,我们知道应该把处理数据的任务分解到各个电脑上,可是不知道如何分配任务,如何回收结果.hadoop大概就帮助我们做了这件事. 1HDFS 我们首先应该考虑的是海量数据怎么保存.怎么管理. 这就有了分布式文件系统,HDFS…

1.概述 使用hadoop已经有一段时间了,从最开始懵懂到迷茫,再到各种阅读与写作,再到如今各种组合应用,逐渐已经离不开hadoop了,hadoop在大数据行业的成功,加速了它本身的发展,各大社区都能见到hadoop的身影.现在hadoop的家族成员已经达到20多个了. 因此,对自己所掌握的知识,定期做整理是很有必要的.将所有的工具与技术结合起来,不仅能加深自己的印象,而且对今后的发展也是有帮助的. 2.成员介绍 下面介绍一下hadoop家族的各个成员及其所属的职责. Apache Hadoop…

前面我们所写mr程序的输入都是文本文件,但真正工作中我们难免会碰到需要处理其它格式的情况,下面以处理excel数据为例 1.项目需求 有刘超与家庭成员之间的通话记录一份,存储在Excel文件中,如下面的数据集所示.我们需要基于这份数据,统计每个月每个家庭成员给自己打电话的次数,并按月份输出到不同文件 下面是部分数据,数据格式:编号  联系人  电话  时间 2.分析 统计每个月每个家庭成员给自己打电话的次数这一点很简单,我们之前已经写过几个这样的程序.实现需求的麻烦点在于文件的输入是Excel文…

项目需求 有博主与家庭成员之间的通话记录一份,存储在Excel文件中,如下面的数据集所示.我们需要基于这份数据,统计每个月每个家庭成员给自己打电话的次数,并按月份输出到不同文件夹. 数据集 下面是部分数据,数据格式:编号 联系人 电话 时间. 项目实现 首先,输入文件是Excel格式,我们可以借助poi jar包来解析Excel文件,如果本地没有可以下载:poi-3.9.jar 和 poi-excelant-3.9.jar 并引入到项目中.借助这两个jar包,我们先来实现一个Excel的解析类…

Hive的用处,就是把hdfs里的文件建立映射转化成数据库的表 但hive里的sql语句都是转化成了mapruduce来对hdfs里的数据进行处理 ,并不是真正的在数据库里进行了操作. 而那些表的定义则是储存在了mysql数据库中,他只是记录相应表的定义 所以你的集群中要有一台机器装了mysql 装hive,装到哪都行 然后解压tar –zxvf xxxxx –C apps 然后进入到这个目录里下的conf里 创建hive-site.xml文件 告诉他mysql在哪,连接驱动是啥,用户名和密码…

Docker最核心的特性之一,就是能够将任何应用包括Hadoop打包到Docker镜像中.这篇教程介绍了利用Docker在单机上快速搭建多节点 Hadoop集群的详细步骤.作者在发现目前的Hadoop on Docker项目所存在的问题之后,开发了接近最小化的Hadoop镜像,并且支持快速搭建任意节点数的Hadoop集群. 一. 项目简介 GitHub: kiwanlau/hadoop-cluster-docker 直接用机器搭建Hadoop集群是一个相当痛苦的过程,尤其对初学者来说.他们还没开…

昨天成功运行第一个在hadoop集群上面的python版本的wordcount,今天白天继续看网上提供的文档.下午上头给定的回复是把hadoop家族都熟悉一下,那就恭敬不如从命,开始学习pig吧- 这一年多的编程之路让我知道学习任何一门新的技术的最入门的方式就看文档,let's geting started! 首先声明一下我的环境是在公司布置好的集群上面运行的程序,因此各位不愿意配置环境又木有条件的可以在cloudera提供的虚拟机配置的环境下跑程序.在进入公司的第一天就听说他们在用pig处理数…

0. 大背景 全球No.1搜索引擎公司谷歌(Google)面临每天海量搜索引擎数据的问题,经过长时间的实践积累, 谷歌形成了自己的大数据框架,但是并没有开源,而是发表了一篇论文,阐述了自己的思想,在论文中 提到了MapReduce的方法.这篇论文,被Doug Cutting也就是后来的Hadoop之父所关注,引起了他极大的兴趣. 因为,这个时候,他正在致力于一个项目,该项目需要多任务并行处理大量的数据,他和伙伴努力了多次,结果都不理想. 于是,Doug和他的团队决定基于Google的MapRed…

ylbtech-dbs:ylbtech-1,FAM(家庭资产管理系统) -- =============================================-- Family Assets Management(FAM)-- 家庭资产管理系统-- yuanbo-- 21:45 2015/3/14-- 人情支出-- ============================================= 1.A,数据库关系图(Database Diagram) 返回顶部 1.B,数据…

L2-007. 家庭房产 时间限制 400 ms 内存限制 65536 kB 代码长度限制 8000 B 判题程序 Standard 作者 陈越 给定每个人的家庭成员和其自己名下的房产,请你统计出每个家庭的人口数.人均房产面积及房产套数. 输入格式: 输入第一行给出一个正整数N(<=1000),随后N行,每行按下列格式给出一个人的房产: 编号 父 母 k 孩子1 ... 孩子k 房产套数 总面积 其中 编号 是每个人独有的一个4位数的编号:父 和 母 分别是该编号对应的这个人的父母的编号(如果已…