1.Hive非交互模式常用命令: 1) hive -e:从命令行执行指定的HQL,不需要分号: % hive -e 'select * from dummy' > a.txt 2) hive –f: 执行HQL脚本 % hive -f /home/my/hive-script.sql --hive-script.sql是hql脚本文件 3) hive -i:进入Hive交互Shell时候先执行脚本中的HQL语句 % hive -i /home/my/hive-init.sql 4) hive -…

八.mongodb  shell常用基础操作(每个语句后可以加分号,也可以不加,看情况定(有的工具中可以不加),最好是加): 1).进入shell操作界面:mongo,上边已有演示: 2).查看当前使用的数据库:db,上边已有演示: 3).查看当前所有存在的数据库:showdbs:查看当前数据中所有集合,showcollections如图: 4).切换数据库:usedbname:需要注意的是,如果已经存在这个数据库,则会切换到该数据库:如果不存在,则会创建一个再切换:如果只是使用use创建了一个…

在使用hive shell之前我们需要先安装hive,并启动hdfs 请参考:https://www.cnblogs.com/lay2017/p/9973298.html hive shell 我们先进入安装目录 cd /usr/local/hadoop/hive/apache-hive--bin 使用Hive命令启动hive shell hive 查看一下数据库,发现有一个默认的default 我们需要创建一个新的test数据库 再看一下数据库,test数据库已经创建完成了 我们切换到test…

配置好HDFS,也学习了点HDFS的简单操作,跟Linux命令相似 1)  配置Hadoop的环境变量,类似Java的配置 在 ~/.bash_profile 中加入 export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0 export PATH=$HADOOP_HOME/bin:$PATH 2)  获取命令帮助: 使用命令  hadoop fs 如图: 3)   shell命令的简单使用    操作    命令 创建文件夹test  hadoop…

1.hive的数据类型 tinyint/smallint/int/bigint tinyint:从 0 到 255 的整型数据 smallint:从 0 到 65535 的整型数据 int:从 0 到 4294967296 的整型数据 bigint:所有数字 float/double boolean stringdatetimestamp 2.基本操作 显示所有库:show databases; 创建库:create database media_pro; 切换到指定库:use media_pr…

本案例使用的数据均来源于Oracle自带的emp和dept表 创建表 语法: CREATE [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name [(col_name data_type [COMMENT col_comment], ...)] [COMMENT table_comment] [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)] [CLUSTERED…

HIVE基本操作命令 创建数据库 >create database db_name; >create database if not exists db_name;//创建一个不存在的数据库final 查看数据库 >show databases; 选择性查看数据库 >show databases like 'f.*'; 查看某一个数据库的详细信息 >describe database db_name; 删除非空数据库 >drop database db_name CAS…

一般操作 查看服务器状态 status 查看hbase版本 version DDL操作 创建表 create 'member','member_id','address','info' 创建了3个列族,分别是member_id, address, info 知识点回顾:cf是schema的一部分,而column不是. 查看表信息 describe 'member' DESCRIPTION ENABLED 'member', {NAME => 'address', DATA_BLOCK_ENCOD…

转自:https://linuxtoy.org/archives/bash-shortcuts.html 生活在 Bash shell 中,熟记以下快捷键,将极大的提高你的命令行操作效率. 编辑命令 Ctrl + a :移到命令行首 Ctrl + e :移到命令行尾 Ctrl + f :按字符前移(右向) Ctrl + b :按字符后移(左向) Alt + f :按单词前移(右向) Alt + b :按单词后移(左向) Ctrl + xx:在命令行首和光标之间移动 Ctrl + u :从光标处删…

1.读取配置文件中的jdbc_url参数的值($InputParamFile为待读取的目标文件绝对路径) jdbc_url=`grep "jdbc_url" $InputParamFile | awk -F '=' '{print $2}'` 2.修改配置文件jdbc_url参数的值(${jdbcConfigFilePath}为待修改的目标文件绝对路径) sed -i "s#\${jdbc_url}#${jdbc_url}#" ${jdbcConfigFilePat…

1. 拼接字符串* #!/bin/sh write_log(){ local up_name=$ local num=${#string} ]; do up_name="$up_name*" num=$(($num + )) done echo $up_name } write_log "wang" 输出: wang****************************************************************************…

Hive服务介绍 Hive默认提供的cli(shell)服务,如果需要启动其他服务,那么需要service参数来启动其他服务,比如thrift服务.metastore服务等.可以通过命令hive --service help查看hive支持的命令. Hive Shell命令介绍Hive的shell命令是通过${HIVE_HOME}/bin/hive文件进行控制的,通过该文件我们可以进行hive当前会话的环境管理.也进行进行hive的表管理等操作.hive命令需要使用';'进行结束标示.通过hiv…

Linux Shell数组常用操作详解 1数组定义: declare -a 数组名 数组名=(元素1 元素2 元素3 ) declare -a array array=( ) 数组用小括号括起,数组元素之间用空格分开 2显示数组长度: [@tc_132_227 dm_pid_day]$ echo ${#array[@]} [@tc_132_227 dm_pid_day]$ echo ${#array[*]} 命令: ${#数组名[@或*]} 获取数组长度,若数组无元素,输出空 3读取数组元素:…

Hbase shell 常用命令(1) link:http://blog.csdn.net/scutshuxue/article/details/6988348 下面我们看看HBase Shell的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数…

Hive 1参数如下: usage: hive -d,--define <key=value> Variable substitution to apply to Hive commands. e.g. -d A=B or --define A=B --database <databasename> Specify the database to use -e <quoted-query-string> SQL from command line -f <file…

Hive配置与操作实践 @(Hadoop) 安装hive hive的安装十分简单,只需要在一台服务器上部署即可. 上传hive安装包,解压缩,将其配入环境变量. mysql的设置 在要作为元数据库的mysql服务器上建立hive数据库: #建立数据库 create database if not exists hive; #设置远程登录的权限 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPT…

1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务. 2. HBase的表结构 HBase以表的形式存储数据.表有行和列组成.列划分为若干个列族/列簇(column family). Row Key colu…

1. 简介 HBase是一个分布式的.面向列的开源数据库,源于google的一篇论文<bigtable:一个结构化数据的分布式存储系统>.HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务. 2. HBase的表结构 HBase以表的形式存储数据.表有行和列组成.列划分为若干个列族/列簇(column family). Row Key colu…

对于nosql之前工作中有用到bekerlydb,最近开始了解mongodb,先简单写下mongodb的一些常用操作,当是个总结: 1.mongodb使用数据库(database)和集合(collection)来存放数据, 数据库中包含很多集合,一个数据库相当于mysql中的一个库,集合(collection)类似于mysql中的表(table),collection使 用key_value的形式存储数据,数据格式是BSON.2.mongodb使用use dbname来选择数据库,如果数据库不存…

一. PC与模拟器或真机交换文件(adb pull和adb push) 在开发阶段或其他原因,经常需要将PC上的文件复制到模拟器或真机上,或将模拟机和真机上的文件复制到PC上.使用adb pull和adb push命令可以很容易地完成这个工作.例如,下面的命令将真机的SD卡根目录下的camera.jpg文件复制到PC的当前目录,取名为picture.jpg.又把picture.jpg文件复制到真机的SD卡的根目录,取名为abc.jpg. 从真机上复制文件到PC: adb -s HT9BYL904…

一.启动或关闭server 1.3  Android SDK中的常用命令行工具 在<Android SDK安装目录>\tools目录中带了很多命令行工具.虽然一般的开发人员并不需要完全掌握这些工具的使用方法,但了解这些工具的一些基本使用方法还是会对以后的开发工作起到一定的辅助作用.本节将介绍几种常用的命令行工具的使用方法,这些工具主要包括adb.android和mksdcard.在使用这些命令行工具之前,建议读者将<Android SDK安装目录>\tools目录加到PATH环境变…

Linux常用操作练习 练习一:安装CentOS 1.设置为1G内存(才有图形界面).10G硬盘 2.分给交换分区2G(4G一下2G,8G-32G分4G-8G) 练习二:安装CentOS迷你版 1.安装 2.设置Linux服务器网卡: 编辑网卡配置项vi /etc/sysconfig/network-scripts/ifcfg-eth0 ONBOOT=yes BOOTPROTO=static NETMASK=255.255.255.0 IPADDR=192.168.1.22 #网关 DNS1=8…

本文是对MongoDB副本集常用操作的一个汇总,同时也穿插着介绍了操作背后的原理及注意点. 结合之前的文章:MongoDB副本集的搭建,大家可以在较短的时间内熟悉MongoDB的搭建和管理. 下面的操作主要分为两个部分: 1. 修改节点状态 主要包括: 1> 将Primary节点降级为Secondary节点 2> 冻结Secondary节点 3> 强制Secondary节点进入维护模式 2. 修改副本集的配置 1> 添加节点 2> 删除节点 3> 将Secondary节…

因为自己不经常使用linux的命令行工具,但是mac的终端还是经常使用的,有些命令总是要想一会或者百度一下才知道怎么用,抽时间整理了一下常用的命令,作为笔记. 常用命令 查看文件操作: ls :列出当前目录下所有文件和目录 cat file:查看文件内容  -n:显示行号 less file:查看文件,支持翻页,支持搜索 使用less打开文件后,可以输入"/关键词"然后回车来搜索关键字,输入n或N可以向下或向上跳转匹配的关键字,如果希望从文件的末尾开始往上搜索,可以使用"?关…

使用QTP自动化测试中,用到对excel的读写操作,这里把一些常用对excel操作的方法进行了归纳,总结.(对excel格式设置的常用操作这里没有进行总结.) Function DataToExcel(byval filepath,byval filename) Dim objExcel,exlSheet,exlBook,fso,exApp,rows,cols '关闭所有excel 'SystemUtil.CloseProcessByName("excel.exe") Set objE…

二叉树是一个重要的数据结构, 本文基于"二叉查找树"的python可视化 pybst 包, 做了一些改造, 可以支持更一般的"二叉树"可视化. 关于二叉树和二叉查找树的概念以及常用操作和算法基础, 可以看后面的参考文章. ===================================二叉查找树可视化包 pybst ===================================pypi 有一个"二叉查找树"的可视化的package,…

一.Hbase搭建: 二.理论知识介绍: 1Hbase介绍: Hbase是分布式.面向列的开源数据库(其实准确的说是面向列族).HDFS为Hbase提供可靠的底层数据存储服务,MapReduce为Hbase提供高性能的计算能力,Zookeeper为Hbase提供稳定服务和Failover机制,因此我们说Hbase是一个通过大量廉价的机器解决海量数据的高速存储和读取的分布式数据库解决方案. 11.来源比对(hbase由谷歌公司BigTable参考而来) 项目 Hbase BIgTable 文件存储…

首先连接 hive shell 直接输入 hive启动, 使用--开头的字符串来表示注释 hive>quit; --退出hive hive> exit; --exit会影响之前的使用,所以需要下一句kill掉hadoop的进程 hine>hadoop job -kill jobid 1.显示表        hive>create database database_name; 创建数据库 如果数据库已经存在就会抛出一个错误信息,使用如下语句可以避免抛出错误信息: hive>…

遇到个情况,跑hive级联insert数据报错,可以尝试换个hive计算引擎 hive遇到FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask错误 .配置mapreduce计算引擎 set hive.execution.engine=mr; .配置spark计算引擎 set hive.execution.engine=spark; .配置tez 计算引擎 set hive.…

Linux Shell常用shell命令 一.文件.目录操作命令 1.ls命令 功能:显示文件和目录的信息 ls 以默认方式显示当前目录文件列表 ls -a 显示所有文件包括隐藏文件 ls -l 显示文件属性,包括大小,日期,符号连接,是否可读写及是否可执行 ls -lh 显示文件的大小,以容易理解的格式印出文件大小 (例如 1K 234M2G) ls -lt 显示文件,按照修改时间排序 2.cd命令 功能:改名目录 cd dir 切换到当前目录下的dir目录 cd / 切换到根目录 cd ..…