hive简单学习---1

--------------------------------------------------------------------------------------------------------------------------------------- 修改下面的文件(那个文件先重命名) *上面的hive?createDatabaseIfNotExist=true是创建一个hive数据库,后面参数是如果没有这个数据库,则创建这个hive数据库…

Hive入门学习随笔（一）

Hive入门学习随笔(一) ===什么是Hive? 它可以来保存我们的数据,Hive的数据仓库与传统意义上的数据仓库还有区别. Hive跟传统方式是不一样的,Hive是建立在Hadoop HDFS基础之上的数据仓库基础框架.也就是说 --Hive这个数据仓库中的数据是保存在HDFS上. --Hive可以用ETL的方式来进行数据提取转化加载. --Hive定义了简单的类似SQL查询语言,称为HQL. --Hive允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理內建的…

Log4j简单学习笔记

log4j结构图: 结构图展现出了log4j的主结构.logger:表示记录器,即数据来源:appender:输出源,即输出方式(如:控制台.文件...)layout:输出布局 Logger机滤器:常用级别的划分:Debug,Info,Warn,Error,Fatal这5个级别由低到高,如果配置的级别为"INFO"那么"Debug"级别的信息则不会显示"依次类推. 示例代码: @Test public void testLevel() { log.debu…

shiro简单学习的简单总结

权限和我有很大渊源. 培训时候的最后一个项目是OA,权限那块却不知如何入手,最后以不是我写的那个模块应付面试. 最开始的是使用session装载用户登录信息,使用简单权限拦截器做到权限控制,利用资源文件的文件夹,利用访问的前缀做粗粒度的拦截处理, 例子在:https://www.cnblogs.com/aigeileshei/p/5738430.html 中的粗粒度权限管理中体现. 后面进入公司后接触到公司组织菜单一块的编码,大概弄明白了什么叫5表定权限,对于权限的体现有了具体的了解例子在:h…

CentOS 简单学习 firewalld的使用

1. centos7 开始使用firewalld 代替了 iptables 命令工具为 firewall-cmd 帮助信息非常长,简单放到文末 2. 简单使用首先开启 httpd 一般都自带安装了 systemctl status httpd 验证一下服务是否开启我这边没有开启因为servername 有问题处理方式就是修改 /etc/httpd/conf/httpd.conf 里面的 servername 修改到一个有意义的名字即可然后使用 curl http://127.0.0.1…

Windows 下 Docker 的简单学习使用过程之一 dockertoolbox

1. Windows 下面运行 Docker 的两个主要工具1): Docker for Windows2): DockerToolbox区别:Docker For Windows 可以理解为是新一代的 Windows下的运行平台. Docker Tool box 是上一代的运行平台. 他们的优缺点:toolbox 自带一个virtualbox的驱动, 能够生成一个 virtualbox的虚拟机,作为Docker deamon的运行使用. 一般设置2G 内存进行运行. 优点自带vb 兼容性好…

在MVC中实现和网站不同服务器的批量文件下载以及NPOI下载数据到Excel的简单学习

嘿嘿,我来啦,最近忙啦几天,使用MVC把应该实现的一些功能实现了,说起来做项目,实属感觉蛮好的,即可以学习新的东西,又可以增加自己之前知道的知识的巩固,不得不说是双丰收啊,其实这周来就开始面对下载在挣扎啦,不知道从哪下手,而且自己针对一个文件下载的小小练习还是写过的,但是和项目中的下载完全就是两个世界,所以我只能抱着学习的心情查找资料啦,刚开始由于leader没有说怎么个下载的办法,我只能自己看些有关下载的资料啦,周一只是在猜测的学习,然后通过询问各路大神.就新学习了NOPI,当我看到Nopi下…

Linux——帮助命令简单学习笔记

Linux帮助命令简单学习笔记: 一: 命令名称:man 命令英文原意:manual 命令所在路径:/usr/bin/man 执行权限:所有用户语法:man [命令或配置文件] 功能描述:获得帮助信息范例: $ man ls 查看ls命令的帮助信息 $ man services 查看配置文件services的帮助信息 man 1 默认命令 5配置文件二: 指令名称:info 指令英文原义:information 指令所在路径:/usr/bin/info 执行权限:All User 语法:i…

Hive入门学习随笔（二）

====使用Load语句执行数据的导入 --将操作系统上的文件student01.txt数据导入到t2表中 load data local inpath '/root/data/student01.txt' into table t2; --将操作系统上/root/data文件夹下的所有文件导入t3表中,并且覆盖原来的数据 load data local inpath '/root/data/' overwrite into table t3; --将HDFS中,/input/student01…

OI数学简单学习笔记

基本上只是整理了一下框架,具体的学习给出了个人认为比较好的博客的链接. PART1 数论部分最大公约数对于正整数x,y,最大的能同时整除它们的数称为最大公约数常用的:$lcm(x,y)=xy\gcd(x,y)$ 裴蜀定理定理:对于方程$ax+by=c$,其存在解的充要条件是$gcd(a,b)|c$,可以拓展到n元的方程. 证明的话应该自己yy一下还是很容易(显然可得),不过要是想要严谨证明还是去百度吧qwq 扩展欧几里得定理首先我们都知道\(gcd(a,b)=gcd(b,a…

mongodb,redis简单学习

2.mongodb安装配置简单学习配置好数据库路径就可以mongo命令执行交互操作了:先将服务器开起来:在开个cmd执行交互操作 1)增删改查 insert方法:dp.person.insert({"name":"jack","age":20}) find方法:db.person.find(): …

html css的简单学习（三）

html css的简单学习(三) 前端开发工具:Dreamweaver.Hbuilder.WebStorm.Sublime.PhpStorm...==========================================================head头的本质:优化页面,利于搜索:设置字符集,防止乱码:引入外部样式方便:规定呈现样式.===========================================================<meta name="…

html css的简单学习（二）

html css的简单学习(二) <!Doctype html>告诉浏览器,这是一个html文档.lang="en" 默认是en,表示英语:zh-Hans 中文简体:zh-Hant 中文繁体:===========================================================行内文本标签:示例:<p>今天下午<time>4点到6点</time>在<address>会议室</address…

html css的简单学习

html css的简单学习 css的内边距:padding (auto.length.%)(顺序:上.右.下.左)padding-toppadding-leftpadding-rightpadding-bottom 示例:*{padding:10px 20px 30px 40px} //顺序:上.右.下.左===========================================================css中的外边距:margin (auto.length.%)(顺序:上.…

Laravel 5.1 简单学习

Laravel 5.1 简单学习 (1)Laravel的nginx配置,不配置或者配置错误,可能会报404或500错误,访问不到页面. location / { try_files $uri $uri/ /index.php?$query_string; } (2)路由中的斜杠和反斜杠要写对,不然访问不到控制器. (3)控制器分组: 默认的控制器,直接在app\Http\Controllers下,创建分组名字,路由配置使用:分组名\控制器名@方法名. (4)多路由文件配置: 默认的路由配置文件只…

Python模块——loguru日志模块简单学习

Python loguru模块简单学习首先安装模块:pip install logoru,然后引入模块: from loguru import logger 1.直接输出到console logger.debug("这是一条debug") # 2019-11-13 09:53:55.425 | DEBUG | __main__:<module>:3 - 这是一条debug 2.将日志输出到文件,(例如:下面的代码会输出到file_2019-11-13_09-55-48_2…

Vagrant 安装Oracle19c RAC测试环境的简单学习

1. 学习自网站: https://xiaoyu.blog.csdn.net/article/details/103135158 简单学习了下能够将oracle RAC开起来了但是对后期的维护和使用还是不清不楚,希望有时间在简单学习整理. 2. 安装的机器信息 Win2008r2 SP1 i5 + 32G内存原始安装软件 .net 4.0 virtualbox 为了使用vagrant安装的软件 vagrant windows powershell3.0的补丁:Windows6.1-KB…

Linux yum的配置 , python环境管理, nginx搭建简单学习

Linux yum的配置 , python环境管理, nginx搭建简单学习一丶配置yum的数据仓库 ### yum 工具, 方便,自行解决软件之间的依赖关系. # 配置yum源仓库 (可以使用,清华源,阿里源) # 1.配置第一个仓库,里面有大量系统常用软件 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo # 2.还得配置第二个仓库,携带大量第三方软件(nginx,r…

学习CUDA--硬件的简单学习

#目录 day0:硬件的简单学习 #0:写在前面的话新年开始,一起学习了解一下CUDA的知识,做机器学习的,或者说研究机器学习深度学习算法的人如果只会用算法还是远远不够的,最好能够把一些基本的算法动手实践一下,这样对以后的算法设计,工程结构设计,代码设计都有很大帮助,千万不能做"小学生玩原子弹"的事. #1:处理器结构初步知识介绍CUDA之前先来下学习处理器结构,当然只是简单的介绍 ##1.0:CPU ![这里写图片描述](https://img-blog.csdn.net/201…

Swoole 简单学习（2）

Swoole 简单学习(2) swoole之tcp服务器: //创建tcp服务器new swoole_server(string $host,int $port,int $mode=SWOOLE_PROCESS,int $sock_type=SWOOLE_SOCK_TCP); //事件bool swoole_server->on(string $event,mixed $callback); //开启tcp服务器bool swoole_server->start(); //发送数据bool s…

<day006>bootstrap的简单学习 + 轮播图

任务1:bootstrap的简单学习 <!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1"> <title>简单的学习</title>…

btrfs文件系统简单学习

1 btrfs文件系统 btrfs文件系统在生产环境应用还不多,因此,本文仅仅简单学习. 1.1 btrfs文件系统核心特性 1)多物理卷支持:btrfs可由多个底层物理卷组成(可以是单块物理磁盘,也可以是某一分区等):支持RAID,支持联机在线热“添加”.“移除”,“修改”: 2)写时复制更新机制(CoW):复制.更新及替换指针,而非“就地”更新: 3)数据及元数据校验码:checksum ,此机制可以保证数据的可靠性; 4)支持多子卷:sub_volume; 5)快照:支持快照的快照(增量快…

JavaScript----DOM和事件的简单学习

##DOM简单学习 * 功能:控制html文档的内容 * 代码:获取页面标签(元素)对象:Element * document.getElementById("id值"):通过元素id获取元素对象 * 操作Elements对象: 1.修改属性值: 1.明确获取的对象是哪一个? 2.查看API文档,找其中有哪些属性可以设置. 2.修改标签内容: * 属性:innerHTML <!DOCTYPE html> <html lang="en"&g…

简单学习一下ibd数据文件解析

来源:原创投稿作者:花家舍简介:数据库技术爱好者. GreatSQL社区原创内容未经授权不得随意使用,转载请联系小编并注明来源. 简单学习一下数据文件解析这是尝试使用Golang语言简单解析MySQL 8.0的数据文件(*.ibd)过程的一个简单介绍,解析是反序列化的一个过程,或者叫解码的过程. 1.为什么要解析虽然有很多开源的代码已经实现了这个解码过程,例如使用C实现的undrop-for-innodb[1],支持到MySQL 5.7版本,后续未作更新. 姜老师的py_innodb_p…

hive的学习入门（飞进数据仓库的小蜜蜂）

前言 hive是构建在Hadoop上的数据仓库平台,其设计目标是:使Hadoop上的数据操作与传统的SQL结合,让熟悉sql的开发人员能够轻松的像Hadoop平台迁移. Hive是Facebook的信息平台的重要组成部分,Facebook在2008年将其共献给Apache,现在Hive是Hadoop家族中一款数据仓库产品. Hive最大的特点是:提供了类SQL的语法,封装了底层的MapReduce过程,让有SQL基础的业务人员,也可以也利用Hadoop进行大数据的操作.就是这一个点,解决了原数…

Hive基础学习

Hive 学习记录Hive介绍:Hive 是起源于Facebook,使得Hadoop进行SQL查询成为可能,进而使得非程序员也可以进进行对其使用:它是一种数据仓库工具,将结构化的数据文件映射为一张数据库表,并提供完整的SQL查询功能,可以将SQL语句转换为MapReduce任务运行.其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析 Hive 学习知识点: HIVE 的优势: 1). 帮助无开发经验的…

Hive入门学习--HIve简介

现在想要应聘大数据分析或者数据挖掘岗位,很多都需要会使用Hive,Mapreduce,Hadoop等这些大数据分析技术.为了充实自己就先从简单的Hive开始吧.接下来的几篇文章是记录我如何入门学习Hive的. 一.Hive简介 Hive是一个数据仓库基础工具,架构在Hadoop之上,能够处理Hadoop中的结构化数据.简言之,Hive和SQL是一个数据分析和处理工具,它提供了SQL查询功能,可以将SQL语句转换为Mapreduce任务运行. 既然Hive是架构在Hadoop之上的,我们就有必要简…

Hive入门学习

Hive学习之路 (一)Hive初识目录 Hive 简介什么是Hive 为什么使用 Hive Hive 特点 Hive 和 RDBMS 的对比 Hive的架构 1.用户接口: shell/CLI, jdbc/odbc, webui Command Line Interface 2.跨语言服务 : thrift server 提供了一种能力,让用户可以使用多种不同的语言来操纵hive 3.底层的Driver: 驱动器Driver,编译器Compiler,优化器Optimizer,执行器Exec…

Hive深入学习--应用场景及架构原理

Hive背景介绍 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的.互联网现在进入了大数据时代,大数据是现在互联网的趋势,而hadoop就是大数据时代里的核心技术,但是hadoop的mapreduce操作专业性太强,所以facebook在这些基础上开发了hive框架,毕竟世界上会sql的人比会java的人多的多,hive可以说是学习hadoop相关技术的一个突破口.那么,hive是什么呢? Hive简介简单的说:hive是基于hadoop的数据仓库.…

Hive 体系学习

Hive简介 Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并使用HQL作为查询接口.HDFS作为存储底层.MapReduce作为执行层,将HQL语句转换成MapReduce任务进行运行,从而达到数据统计.数据分析的功能. Hive有自身的元数据结构描述,可以使用MySQL等关系型数据库来进行存储,但请注意Hive中的所有数据都存储在HDFS中. 优点:与传统的SQL语法非常相近,学习成本低,可以通过HQL语法(类SQL语法)快速实现简单的MapRedu…

【hive简单学习---1】的更多相关文章