hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的sql查询功能,可以将sql语句转换为MapReduce任务进行运行. 其优点是学习成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析.另外一个是Windows注册表文件. #hive debug命令nuhup hive --service hiveserver2 --debug & 1>/dev/null 2&g…

Redis 键(key) Redis 键命令用于管理 redis 的键. 语法 Redis 键命令的基本语法如下: redis 127.0.0.1:6379> COMMAND KEY_NAME 实例: 在以上实例中 DEL 是一个命令, runoobkey 是一个键. 如果键被删除成功,命令执行后输出 (integer) 1,否则将输出 (integer) 0 下面给大家列举几个常用的跟键相关的命令: Redis DEL 命令 Redis DEL 命令用于删除已存在的键.不存在的 key 会被忽…

HIVE JOIN:http://blog.csdn.net/yfkiss/article/details/8073608 HIVE资料: 一条记录map阶段输出KV,shuffle sort,输出KV,最后reduce输出结果 https://skydrive.live.com/?mkt=zh-CN#!/view.aspx?cid=D04547F5707AF6F9&resid=D04547F5707AF6F9%21107&app=PowerPoint RCFILE:http://www.…

Java的cmd配置(也即Java的JDK配置及相关常用命令) ——找不到或无法加载主类  的解决方法 这段时间一直纠结于cmd下Java无法编译运行的问题.主要问题描述如下: javac 命令可以正常运行,而java命令有时可以正常运行,有时却不可以,不可以的症状就是显示“找不到或无法加载主类”. 在网上找了各种资料,最终发现是因为代码里含有package语句,所以无法在cmd下运行java命令解释.class文件.而那些可以运行的文件就是因为没有使用package语句. 我这种问题的解决方法…

Linux中mod相关的命令 内核模块化   mod相关命令都是用来动态加载内核模块/驱动程序模块 http://baike.baidu.com/link?url=lxiKxFvYm-UfJIxMjzMvMcGkzCwlxrj5L7YGKGd90hKX0iVU1Du5fa-6GvG0sw_hIoxwNh9rvwM9C2y3NN1RRa  鸟哥私房菜 module-init-tools:Linux内核可加载模块管理工具 rpm -ql module-init-tools/etc/depmod.d/…

Linux 相关scsi命令 由于前段时间存储扩容,对存储操作较多,下面记录了常用的操作: lsscsi命令:显示scsi设备信息 #lsscsi [0:0:0:2]    disk    IBM      1726-4xx  FAStT  0617  /dev/sdb [0:0:0:3]    disk    IBM      1726-4xx  FAStT  0617  /dev/sdc [0:0:0:4]    disk    IBM      1726-4xx  FAStT  0617 …

1.linux下的文件分为字符设备文件和块设备文件 2.文件的属性有读写权限.执行权限.访问时间.修改时间.状态改变时间等. 状态改变时间指修改了文件的读写权限或者所有者等操作. 3.ls -l 执行 ls -l 输出以下内容 [root@tom dev]# ls -l 总用量 24 crw-rw----+ 1 root root 14, 12 12-21 22:56 adsp crw------- 1 root root 10, 175 12-21 22:56 agpgart crw-rw--…

1.简单描述 redis本质上是一个key-value db,value可以有多种类型(string.hash.set.sorted set.list等),本章节不讲这些类型的命令,这里是讲跟key相关的命令操作. key本身是string类型,不支持边界符,比如my key 这种含有空格的名字是会报错的,mykey\n这样包含换行符的也不行,包含\r\n的会被特殊处理,暂不细说. 由于redis的数据是在内存中的,所以如果key的名字过长,会占用更多字节,另外就是查找的时候,会比长度短的key…

Linux 文件夹相关常用命令 查看 ls -la -l 列出详细信息 -a 列出全部,包括.和.. 删除 rm <folder> -rf  -r  就是向下递归,不管有多少级目录,一并删除-f  直接强行删除,不作任何提示的意思 创建 mkdir -m 770 <folder> -m owner权限/owner所在group users权限/others权限 改变owner chown <user>  <folder>  -R -R 递归改变 改变grou…

关于 Linux 的配置文件 /etc/profile 路径出错后相关的命令失效解决方式(如:ls,vi不能用) 今天学习LINUX 下配置jdk 和安装tomcat 通过VI编辑/etc/profile 在expot 时候把路径弄错了.保存后启动.虽然java安装好了.但是相关的ls more vi 的命令都不好使了.而且没装FTP所以在windows下连接进去修改/etc/profile文件此路也就走不通.真悲剧了.难道我要重装系统? 心不甘.自己想了想.一般我记得vi是在/bin/下.那么…

hive 元数据修复命令 msck repair table xxx; 也可以用于分区表的快速复制 例如你需要从线上往线下导一张分区表,但是网又没有连通,你需要如何操作呢? 1.复制建表语句 2.从线上下载分区表数据 hadoop fs -get /user/hive/warehouse/public.db/table_partition/ . 3.把分区数据put到线下表中 hadoop fs -put table_partition/* /user/hive/warehouse/public…

进程间通信概述 进程间通信有如下的目的: 1.数据传输,一个进程需要将它的数据发送给另一个进程,发送的数据量在一个字节到几M之间: 2.共享数据,多个进程想要操作共享数据,一个进程对数据的修改,其他进程应该立刻看到: 3.通知事件,一个进程需要向另一个或一组进程发送消息,通知它们发生了某件事情: 4.资源共享,多个进程之间共享同样的资源.为了做到这一点,需要内核提供锁和同步机制: 5.进程控制,有些进程希望完全控制另一个进程的执行(如Debug进程),此时控制进程希望能够拦截另一个进程的所有陷入…

一.介绍 本文将介绍几个与文档相关的命令 软件环境: 物理机 Windows 8.0 虚拟机 VMware Workstation 12 Linux系统 CentOS 7.3 二.命令cat 命令cat用于查看一个文件的内容并将其显示在屏幕上.cat后面可以不加任何选项,直接跟文件名. 下面介绍两个常用选项: -n:查看文件时,把行号也显示到屏幕上 上例中出现了符号 >>,它和符号 >类似,作用也是重定向,即把前面的内容输入到后面的文件中,但符号 >>是“追加”的意思. 当使…

1. 概述 Linux 服务器, 通常可以由多个终端连接 简单介绍一些 终端 相关的操作 最终的目的, 是定位到某个终端, 然后把它 踢下来, 甚至可以不让他再次连接 2. 环境 操作系统 CentOS Linux release 7.6.1810 (Core) 命令 > cat /etc/redhat-release 用户 当然是 root 啦 3. 终端相关 概述 不管是 本机, 还是 远程, 操作 linux 系统, 都需要通过 终端 或者是 GUI 终端 概述 这个可能以后会说 看看内容…

hive经常使用命令 show tables; 列出hive里面全部数据表名 desc userProfile; 显示数据表userProfile的基本表字段及字段type desc extended trackinfo; 显示数据表trackinfo的具体信息,包含字段说明,数据表等 /usr/local/cloud/hive/bin/hive 进入hive数据库 select attribute_name from pms_attribute where attribute_id=21000…

Hive的Explain命令,用于显示SQL查询的执行计划. Hive查询被转化成序列阶段(这是一个有向无环图).这些阶段可能是mapper/reducer阶段,或者是Metastore或文件系统的操作,如移动和重命名的阶段. 例子 hive> explain [extended] --加上关键字extended,则显示抽象语法树 > select * from student > cluster by age; 1.查询的抽象语法树(没用,可以忽略) 2.执行计划计划的不同阶段之间的依…

IPC相关的命令 原文:http://www.cnblogs.com/jjzd/p/6773090.html 进程间通信概述 进程间通信有如下的目的: 1.数据传输,一个进程需要将它的数据发送给另一个进程,发送的数据量在一个字节到几M之间: 2.共享数据,多个进程想要操作共享数据,一个进程对数据的修改,其他进程应该立刻看到: 3.通知事件,一个进程需要向另一个或一组进程发送消息,通知它们发生了某件事情: 4.资源共享,多个进程之间共享同样的资源.为了做到这一点,需要内核提供锁和同步机制: 5.进…

一,插件相关常用命令   1,查看所有已经安装的插件 1 cordova plugin ls 2,安装插件(以camera插件为例) 1 cordova plugin add cordova-plugin-camera 3,删除插件(以camera插件为例) 1 cordova plugin rm cordova-plugin-camera 4,更新插件 1 cordova plugin update 二,常用的Cordova插件 1,Console(调试控制台) 让程序可以在控制台中打印输出日…

Linux性能分析——分析系统性能相关的命令 摘要:本文主要学习了Linux系统中分析性能相关的命令. ps命令 ps命令用来显示系统中进程的运行情况,显示的是当前系统的快照. 基本语法 ps [选项] 选项说明 -e:显示所有进程. -f:显示完整格式的进程信息. -a:所有与终端相关的进程. -u:所有与终端无关的进程. -x:以用户为中心组织进程状态信息显示. -l:显示长列表. 使用举例 使用ps命令: [root@localhost ~]# ps PID TTY TIME CMD pt…

Linux系统之网络相关的命令 网络概述 网络:通过通信介质和通信设备 将分布不同地点的两台或多台计算机,经过相应的程序实现通信switch 交换机router 路由器网络的功能:数据通信:利用网络传播各种信息和数据资源共享:硬件资源共享:远程桌面连接,本地磁盘共享软件资源共享:---------------------七层模型,OSI:Open System Interconnection参考模型,是ISO组织制定的一种用于计算机或通信系统间互联的标准体系TCP/IP参考模型---------…

node.js 使用----相关常用命令总结 1. 下载并安装node.js 2. 设置全局模块存放的目录 2.1 查看默认配置 npm config ls 2.2 修改全局模块存放目录 npm config set prefix "e:\\stores\\nodejs\\node_modules\\node_global" npm config set cache "e:\\stores\\nodejs\\node_modules\\node_global" 2.…

文章目录 目录相关的命令 ls 命令:列出文件和目录 cd 命令:切换目录 du 命令:显示目录包含的文件大小 总结 参考资料 巩固和复习Linux系统基础命令知识 目录相关的命令 ls 命令:列出文件和目录 列出目录内容 ls [root@liuawen /]# pwd / [root@liuawen /]# ls bin boot dev etc home lib lib64 lost+found media mnt opt patch proc root run sbin srv sys…

—1—————— 后台跑程序语句: 在shell下输入: nohup hive -f  aaa.sql >bbb.log 2>&1 & 然后把sql 的脚本导入服务器上:Transfer—Zmodem upload List 相关命令:jobs:可以看到运行的任务,:cat bbb.log 可以看到这个任务运行情况 后台上传python脚本 nohup python -u day_cid2.py >bbb.log 2>&1 &   运行后会返回任务代…

以下是阅读<Hive编程指南>后整理的一些零散知识点: 1. 有时候用户需要频繁执行一些命令,例如设置系统属性,或增加对于Hadoop的分布式内存,加入自定的Hive扩展的Jave包(JAR文件),我们可以将这些命令加入hiverc文件里,这样每当CLI(command-line interface命令行界面)启动时,在'hive>'提示符出现前先执行这个hiverc文件. 2. Hive脚本(.hql后缀文件)注释用--. 3. 在Hive内使用Hadoop的dfs命令,直接在Hive…

ifconfig命令 1. 查看已被激活的网卡的详细信息 # ifconfig eth0 Link encap:Ethernet HWaddr 00:30:67:F2:10:CF inet addr:10.0.0.253 Bcast:10.0.255.255 Mask:255.255.0.0 inet6 addr: fe80::230:67ff:fef2:10cf/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX…

# 1 utmp.wtmp.btmp文件 Linux用户登录信息放在三个文件中: 1 /var/run/utmp:记录当前正在登录系统的用户信息,默认由who和w记录当前登录用户的信息,uptime记录系统启动时间: 2 /var/log/wtmp:记录当前正在登录和历史登录系统的用户信息,默认由last命令查看: 3 /var/log/btmp:记录失败的登录尝试信息,默认由lastb命令查看. 这三个文件都是二进制数据文件,并且三个文件结构完全相同,是由/usr/include/bits/u…

系统信息相关命令 本节内容主要是为了方便通过远程终端维护服务器时,查看服务器上当前 系统日期和时间 / 磁盘空间占用情况 / 程序执行情况 本小结学习的终端命令基本都是查询命令,通过这些命令对系统资源的使用情况有个了解 目标 时间和日期 date cal 磁盘和目录空间 df du 进程信息 ps top kill 01. 时间和日期 序号 命令 作用 01 date 查看系统时间 02 cal calendar 查看日历,-y 选项可以查看一年的日历 02. 磁盘信息 序号 命令 作用 01…

一.netstat命令 显示协议统计信息和当前 TCP/IP 网络连接. NETSTAT [-a] [-b] [-e] [-f] [-n] [-o] [-p proto] [-r] [-s] [-x] [-t] [interval] -a #显示所有连接和侦听端口. -b #显示在创建每个连接或侦听端口时涉及的可执行程序.在某些情况下,已知可执行程序承载多个独立的组件,这些情况下,显示创建连接或侦听端口时 #涉及的组件序列.在此情况下,可执行程序的名称位于底部 [] 中,它调用的组件位于顶部,直…

最近在使用Hive的过程中,在备份数据时,经常会使用cp或mv命令来拷贝数据,将数据拷贝到我们新建备份表的目录下面,如果不是分区表,则上面的操作之后,新建的备份表可以正常使用,但是如果是分区表的,一般都是使用alter table add partition命令将分区信息添加到新建的表中,每添加一条分区信息就执行一个alter table add partition命令,如果分区数量少还好办,但是遇到分区数量多的情况,特别是分区数量大于50的情况,如果还是使用alter命令添加分区,那是一件耗时…

# 1 utmp.wtmp.btmp文件 Linux用户登录信息放在三个文件中: 1 /var/run/utmp:记录当前正在登录系统的用户信息,默认由who和w记录当前登录用户的信息,uptime记录系统启动时间: 2 /var/log/wtmp:记录当前正在登录和历史登录系统的用户信息,默认由last命令查看: 3 /var/log/btmp:记录失败的登录尝试信息,默认由lastb命令查看. 这三个文件都是二进制数据文件,并且三个文件结构完全相同,是由/usr/include/bits/u…