今天学习过程和小结

上午进行测试复习了

1，hdfs中namenode和datanode作用

2，hdfs副本存放机制

3，mapreduce计算处理过程

4，格式化hdfs命令

5，hdfs的核心配置文件内容配置

sql语句：

部门表：

6，统计各个部门的人数

7，查询所有部门。

8，倒排索引代码

9，hash函数的特点，有哪些实现方式

10，查看namenode是否正常运行

重点学习了倒排索引的代码。

然后进行了hive的安装和配置，以及sqoop的安装和配置。

Hive构建在Hadoop之上的数据仓库 Hive中定义了一种类SQL查询语言：HQL(类似SQL但不完全 相同) 通常用于离线数据处理（采用mapreduce） 底层支持多种不同的执行引擎（mapreduce、tez、spark） 支持多种不同的压缩格式（GZIP、LZO、Snappy、 Bizp2）、存储格式(TextFile、SequenceFile、RCFILE、ORC、 Parquet)以及自定义函数(UDF)

在hive中主要是进行SQL数据库表的建立以及SQL语句的学习。包括hive查询的联系和表连接的查询。以及sqoop的联系

1使用sqoop导入mysql数据到hdfs

2,使用sqoop导入mysql数据到hive

3,使用sqoop导入mysql数据到hive中，并指定表名

4,使用sqoop导入mysql数据到hive中，并使用where条件

5,使用sqoop导入mysql数据到hive中，并使用查询语句

6,使用sqoop将hive中的数据导出到mysql中

 遇到问题汇总

  1. 今天主要学习了hive和SQL语句的操作，有很多SQL查询语句不是很了解要多多练习。

2.sqoop导入导出的步骤也要加强。

学习技能思维导图

7月19日day11总结的更多相关文章

  1. Python array,list,dataframe索引切片操作 2016年07月19日——智浪文档

    array,list,dataframe索引切片操作 2016年07月19日——智浪文档 list,一维,二维array,datafrme,loc.iloc.ix的简单探讨 Numpy数组的索引和切片 ...

  2. 2016年12月19日 星期一 --出埃及记 Exodus 21:14

    2016年12月19日 星期一 --出埃及记 Exodus 21:14 But if a man schemes and kills another man deliberately, take hi ...

  3. 2016年11月19日 星期六 --出埃及记 Exodus 20:10

    2016年11月19日 星期六 --出埃及记 Exodus 20:10 but the seventh day is a Sabbath to the LORD your God. On it you ...

  4. 2016年10月19日 星期三 --出埃及记 Exodus 19:3

    2016年10月19日 星期三 --出埃及记 Exodus 19:3 Then Moses went up to God, and the LORD called to him from the mo ...

  5. 7月19日Docker&Kubernetes技术沙龙总结 - DockOne.io

    7月19日Docker&Kubernetes技术沙龙总结 - DockOne.io undefined

  6. 成都Uber优步司机奖励政策（4月19日）

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  7. 北京Uber优步司机奖励政策（4月19日）

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  8. 北京Uber优步司机奖励政策（3月19日）

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

  9. 北京Uber优步司机奖励政策（2月19日）

    滴快车单单2.5倍,注册地址:http://www.udache.com/ 如何注册Uber司机(全国版最新最详细注册流程)/月入2万/不用抢单:http://www.cnblogs.com/mfry ...

随机推荐

  1. 实现一个带有指纹加密功能的笔记本（Android）第一部分

    自己经常会忘记一些密码什么的,想把这些密码保存下来,但是别人做的软件总有一点不安全的感觉,所以自己动手做了一个带有指纹加密的笔记本. 以下是本工程用到的一些第三方包 compile 'org.gree ...

  2. linux c 出错集

    2018.7.8 1.声明结构体时,结构体内部不能赋值.比如 struct student{ char id=0; char score=0; }; 这样大错特错! 2.字符数组 char a[10] ...

  3. 设置Git 记住密码

    设置记住密码(默认15分钟): git config --global credential.helper cache 如果想自己设置时间,可以这样做: git config credential.h ...

  4. 圣思源Java视频36节练习源码分享（自己的190+行代码对比老师的39行代码）

    题目: * 随机生成50个数字(整数),每个数字范围是[10,50],统计每个数字出现的次数 * 以及出现次数最多的数字与它的个数,最后将每个数字及其出现次数打印出来, * 如果某个数字出现次数为0, ...

  5. Hackerrank - [Algo] Matrix Rotation

    https://www.hackerrank.com/challenges/matrix-rotation-algo 又是一道耗了两小时以上的题,做完了才想起来,这不就是几年前在POJ上做过的一个同类 ...

  6. vs编译报错 BLOCK_TYPE_IS_VALID(pHead->nBlockUse)

    1.重复释放内存导致,new delete和malloc free两个组合分配的堆空间都不能重复释放两次: 2.用delete或者free释放栈空间导致内存空间被破坏(栈空间内存的头部有系统写入的一些 ...

  7. C++学习006-条件运算符

    这里我也理解的不咋的,大致意思应该就是根据运算符号 的优先级不同来解决的 条件运算符是其中一部分,而条件运算符具有右结合性,当一个表达式中出现多个条件运算符时,应该将位于最右边的问号与理他最近的冒号配 ...

  8. (原) MatEditor部- UmateriaEditor中Texture使用过程（1）

    @author: 白袍小道 转载说明原处 插件同步在GITHUB: DaoZhang_XDZ     最后YY需求(手滑)(开黑前弄下,充数,见谅) 1.在理清楚基础套路和细节后,自定义纹理资源,并加 ...

  9. （转）Unreal Networking Guide Created by Zach Metcalf

        2. 3.                                                        

  10. iterator 的设计原则和traits

    iterator我前面写过是作为algorithm和container之间的一个桥梁,algorithm进程操作的时候向iterator进行提问,iterator并对提问进行了回答,其中主要就是回答5 ...