1. 基础 1.1 Hive 解决问题的背景? 用户如何从一个现有的数据基础架构转移到 Hadoop 上,而这个基础架构是基于传统的关系数据库和 SQL 的? Hive 提供了一个被称为 HQL 的 SQL 语言,来查询存储在 Hadoop 集群中的数据. 1.2 Hive 使用的场合是什么以及它的局限性? Hive 最适合于数据仓库的应用程序,使用该应用程序进行静态数据分析,不需要快速响应给出结果,而且数据本身 不会频繁变化. 局限性 1. Hive 不适合记录级别的更新,插入或者删除操作,用…

hive编程指南中有个employees表,默认的分隔符比較繁杂,编辑起来不太方便(普通编辑器编辑的控制字符^A等被当成字符串处理了,没有起到分隔符的作用). 收集的解决方式例如以下: http://www.myexception.cn/software-architecture-design/1351552.html http://blog.csdn.net/lichangzai/article/details/18703971 切记,简单的文本编辑器编辑例如以下的内容,分隔符是没被识别的,^…

此博仅为笔记,摘自msdn编程指南文档,链接地址:http://msdn.microsoft.com/zh-cn/library/67ef8sbd.aspx 注释:// 单行注释 /* 多行注释*/ 编码约定:命名约定:限定名称太长无法放入一行,可在点后截断:布局约定:每行仅编写一个语句,在方法定义和属性定义之间添加至少一个空白行:注释约定:将注释放在另一行,而不要放在代码行的末尾,在注释分隔符和注释文本之间插入一个空格:常用规范:处理大量文本使用 StringBuilder 对象,连接短字符串…

复习: C/C++高质量编程指南: [规则1-2-1]为了防止头文件被重复引用,应当用ifndef/define/endif结构产生预处理块. [规则1-2-2]用 #include <filename.h> 格式来引用标准库的头文件(编译器将从标准库目录开始搜索). [规则1-2-3]用 #include “filename.h” 格式来引用非标准库的头文件(编译器将从用户的工作目录开始搜索). [建议1-2-1]头文件中只存放“声明”而不存放“定义” [规则2-2-1]一行代码只做一件事情…

// HiveQLa) 数据定义语言1 数据库表的一个目录或命名空间,如果用户没有指定数据库的话,那么将会使用默认的数据库default-----创建数据库CREATE DATABASE guoyongrong;// 给每个数据库创建了一个目录,数据库的文件目录名是以.db结尾的CREATE DATABASE IF NOT EXISTS guoyongrong; // 避免在数据库存在的创建错误CREATE DATABASE guoyongrong LOCATION '/my/preferred…

set hive.metastore.warehouse.dir=/user/myname/hive/warehouse; 用户设定自己的数据仓库目录.不影响其他用户.也在$HOME/.hiverc中设置,则每次启动hive自动加载 hive -(d,ef,H,h,i,p,S,v) 定义变量var,在hql中直接引用${var} set (显示或修改) set; (看所有变量) set env:HOME; set -V; 不加-V打印命名空间 hive --define foo=bar (-d简…

第四章: HQl的数据定义 1:创建数据库   create database financials;   create database  if not exists financials; 2: 查看数据库   show databases;    模糊查询数据库   show databases like 'h.*' ; 3:创建数据库改动数据库的默认位置    create database financials localtion '/my/preferred/directory' 4…

Hive支持关系型数据库中的大多数基本数据类型,同时也支持关系型数据库中很少出现的3种集合数据类型. 和大多数数据库相比,Hive具有一个独特的功能,那就是其对于数据在文件中的编码方式具有非常大的灵活性. 大多数数据库对数据具有完全的控制,其包括对数据存储到磁盘的过程的控制,也包括对数据生命周期的控制. 而Hive将这些方面的控制权交给用户,使用户更容易地使用各种各样的工具来管理和处理数据. 一.  基本数据类型 表1-1 Hive基本数据类型 数据类型 长度 例子 TINYINT 1byte有…

1.Mapreduce是一种计算模型,将计算任务分割成多个可以在服务器集群中并行执行的任务,然后分散到一群家用的或者服务器级别的硬件机器上,从而降低成本并提供水平可伸缩性. 2.mapreduce的两个基本操作: (1)map操作:将集合中的元素从一种形式转换为另一种形式,输入的键值对会被转换成零到多个键值对进行输出. 3.hive的限制:(1)hive不支持记录几倍的更新.插入或者删除操作.但是用户可以通过查询生成新的表,或者将查询结果导入文件中, (2)hadoop是一个面向批处理的系统,m…

1. 设置hive以本地模式运行(即使当前用户是在分布式模式或伪分布式模式下执行也使用这种模式) set hive.exec.model.local.auto=true; 若想默认使用这个配置,可以将这个命令添加到$HOME/.hiverc文件中 2. 当频繁使用hadoop dfs命令时,最好为这个命令定义一个别名 alias hdfs="hadoop dfs" 3. hive表数据默认存储位置(基于hadoop的运行模式) hadoop为本地模式:file:///user/hive…

1.Hive不支持记录级别的更新.插入或删除? 2.sort by 和 order by 的区别? https://blog.csdn.net/jthink_/article/details/38903775 3.分区和分桶的区别? 分区:是hive中对数据比较粗粒度的划分,每个分区对应一个文件目录:类似与rdbms中分区表的概念.比如大量日志存储,会根据日志产生时间分区,一般分区会造成数据倾斜. 分桶:是比较细粒度的数据划分,对应到具体文件:根据指定列进行hash之后与分桶个数取模计算,确定数…

在Andorid的世界里,凡事要在屏幕上绘制的东西都可以叫drawable,比如抽象图形,Drawable的子类,位图图形等,我们之前用来封装图片的BitmapDrawable就是一种drawable. 本章我们还会看到更多的drawable:state list drawable.shape drawable和layer list drawable. 这三个drawable都定义在XML文件中,可以归为一类,统称为XML drawable. shape drawable 使用ShapeDraw…

知识图谱…

…

1.  在多重循环中,如果有可能,应当将最长的循环放在最内层,最短的循环放在最外层,以减少 CPU 跨切循环层的次数. 2.  如果循环体内存在逻辑判断,并且循环次数很大,宜将逻辑判断移到循环体的外面. 3.  即使程序真的不需要default 处理,也应该保留语句 default : break. 4.  C 语言用#define 来定义常量(称为宏常量). C++ 语言除了 #define 外还可以用 const 来定义常量(称为 const 常量). 5.  const 与 #define…

我们所示程序 对于一切IOS APP来说.我们看的的内容,都是UIView所呈现的. UIView如场景,UIWindow如舞台.UIView粉墨登场在UIWindow这个舞台上,使我们看到丰富多彩的界面UI. UIWindow本身没有不论什么内容,它仅仅提供了一个场所来让这些UIView来显示.切换. 通常.一个APP仅有一个UIWindow作为显示的场所.当我们要进行多屏显示时.才会使用到多个UIWindow. UIView的基本结构 1.UIView附着于UIWindow上.仅仅有放在UI…

本章需求:首先,让应用轮询新结果并在有所发现时及时通知用户,即使用户重启设备后还没有打开过应用.其次,保证用户在使用应用时不出现新结果通知. 1. 一般intent和broadcast intent 许多系统组件需要知道某些事件的发生(WIFI信号时有时无,电话的呼入等),为满足这样的需求,Andorid提供了broadcast intent 组件. broadcast intent的工作原理类似于之前学过的intent,但不同的是broadcast intent可以被多个叫做broadcast…

AsyncTask是执行后台线程的最简单方式,但它不适用于那些重复且长时间运行的任务. 1. Looper Android中,线程拥有一个消息队列(message queue),使用消息队列的线程叫做消息循环(message loop).消息循环会循环检查队列上是否有新消息. 消息循环由线程和looper组成,Looper对象管理着线程的消息队列. 主线程就是个消息循环,因此也拥有Looper,主线程的所有工作都是由其looper完成的,looper不断的从消息队列中抓去消息,然后完成消息指定的…

1. 网络连接基本 //通过指定URL获取原始数据,并返回一个字节流数组. public byte[] getUrlBytes(String urlSpec)throws IOException{ //根据传入的字符串参数,创建一个URL对象 URL url = new URL(urlSpec); //通过url.openConnection()方法得到HttpUrlConnection对象. HttpURLConnection connection = (HttpURLConnection)u…

本章,我们会使用隐式intent创建一个替换android默认启动器的应用.名为NerdLauncher. NerdLauncher应用能列出设备上的其他应用,点选任意列表项会启动相应应用. 1. 解析隐式intent 可启动的主 activity 都有包含 MAIN 操作和 LAUNCHER 类别的 intent 过滤器,一般在 AndroidManifest.xml 中的形式如下: <activity android:name=".XXXXActivity"> <…

针对BeatBox应用,可以使用SoundPool这个特别定制的实用工具. SoundPool能加载一批声音资源到内存中,并支持同时播放多个音频文件.因此所以,就算用户兴奋起来,狂按按钮播放全部音频,也不必担心会损坏应用或者耗光手机电量. 1. 创建SoundPool /* * Lollipop引入了新的方式创建SoundPool:使用SoundPool.Builder.为了兼容api 16最低级别,只能选择使用SoundPool(int int int)这个老构造方法. * 第一个参数指定同时…

resources资源可以存储声音文件,但当处理多个音乐文件时,效率会很低. assets可以被看作随应用打包的微型文件系统,支持任意层次的文件目录结构.类似游戏这样需要加载大量图片和声音资源的应用通常都会使用它 1. 导入assets 在app模块下创建assets目录,然后建立需要的资源文件夹并放入资源. 2. 处理assets assets导入后,我们还要能在应用中进行定位,管理记录,以及播放,这需要新建一个名为 BeatBox 的资源管理类.代码如下: public class Beat…

目录 一.对象 1.1 获取属性值的方式 1.2 获取动态生成的属性的值 二.数组 2.1 检测是否为数组 2.2 增加数组长度导致未赋值的位置为undefined 2.3 用闭包实现简易迭代器 三.作用域 3.1 函数作用域(局部变量) 3.2 不存在块级作用域 3.3 变量泄露 3.4 变量提升 3.5 临时作用域 四.闭包 4.1 操作闭包中的值 五.事件监听 六.类型检测 七.类型转换 八.URL编码 8.1 编码 8.2 解码 九.JSON格式 9.1 转为JSON格式 9.2 转为对…

<JavaScript面向对象编程指南(第2版)>读书笔记(一) <JavaScript面向对象编程指南(第2版)>读书笔记(二) 目录 一.基本类型 1.1 字符串 1.2 对象 1.3 原型 1.4 常用数学方法 二.DOM操作 2.1 节点编号.名称以及值 2.2 父节点.子节点和相邻节点 2.3 添加和删除节点 2.4 属性相关 2.5 DOM合集 2.6 DOM遍历 三.其他 3.1 事件 3.2 浏览器检测 3.3 三种弹窗方式 3.4 根据浏览器历史控制前进后退 3.…

一.前言 根据前面一章的内容,继续第三章的学习. 二.正文       一起绘制三个点,这里要使用到缓存了 var n = initVertexBuffers(gl); //返回绘制点的个数 n ) { console.log('Failed to set the positions of the vertices'); return; } gl.clearColor(, , , ); gl.clear(gl.COLOR_BUFFER_BIT); gl.drawArrays(gl.POINTS,…

一.前言 最近看了<WebGL编程指南>这本书,发现还是很有意思的,故每章阅读后做个笔记. 二.正文 Example1:在canvas中绘制矩形 <!DOCTYPE html> <html lang="en"> <head> <meta charset="utf-8" /> <title>Draw a blue rectangle (canvas version)</title> &…

概述 <JavaScript面向对象编程指南>读书笔记① 这里只记录一下我看JavaScript面向对象编程指南记录下的一些东西.那些简单的知识我没有记录,我只记录几个容易遗漏的或者精彩的知识点,以后再看也可当做拾遗之用! 内容 1.枚举属性用for-in循环显示. 2.当我们对对象的prorotype属性进行完全重写时,有可能会对对象constructor属性产生一定的负面影响. 3.uber--子对象访问父对象的方式Triangle.uber = TwoDShape.prototype 4…

下了这本书<Java多线程编程指南-设计模式篇>, 还有另一本<JAVA多线程设计模式>,据说内容有重复,结合着看.…

高质量C++/C编程指南 http://man.lupaworld.com/content/develop/c&c++/c/c.htm 高质量C++/C编程指南(附录 C :C++/C 试题的答案与评分标准) http://www.warting.com/program/201111/38402.html http://www.360doc.com/content/10/0911/15/2507295_52863476.shtml 目 录 前 言 第1章 文件结构 1.1 版权和版本的声明 1.…

1.1. 泛型概述 2.0版C#语言和公共语言运行时(CLR)中增加了泛型.泛型将类型参数的概念引入.NETFramework,类型参数使得设计如下类和方法成为可能:这些类和方法将一个或多个类型的指定推迟到客户端代码声明并实例化该类或方法的时候.例如,通过使用泛型类型参数T,您可以编写其他客户端代码能够使用的单个类,而不致引入运行时强制转换或装箱操作的成本或风险,如下所示: //Declarethegenericclass. publicclassGenericList<T> { voidAd…