日志数据的统计处理在这里反倒没有什么特别之处,就是一些 SQL 语句而已,也没有什么高深的技巧,不过还是列举一些语句示例,以示 hive 处理数据的方便之处,并展示 hive 的一些用法. a)          为 hive 添加用户定制功能,自定义功能都位于 hive_contrib.jar 包中 add jar /opt/hadoop/hive-0.5.0-bin/lib/hive_contrib.jar; b)          统计每个关键词的搜索量,并按搜索量降序排列,然后把结果存入…

本文链接:http://www.cnblogs.com/MartinChentf/p/6056571.html (转载请注明出处) 1.命令格式 find [-H] [-L] [-P] [-D debugopts] [-Olevel] [path...] [expression] 2. 命令功能 在文件目录层级中查找文件并做相应的处理 3. 命令选项 -name finename 按照文件名查找文件,文件名可使用通配符 -perm mode 按照文件权限查找文件 -type c 按照文件类型查找…

本文如果有错,欢迎留言更正:此外,转载请标明出处 http://www.cnblogs.com/IClearner/  ,作者:IC_learner 本文将描述在Design Compliler中常用到的命令,这些命令按照流程的顺序进行嵌套讲解,主要是列举例子:大概的讲解布局如下所示: 大概有11个部分,下面我们逐个部分进行(简单的)介绍的举例. 1.tcl的命令和结构 tcl的命令和结构请参照第二节的内容: http://www.cnblogs.com/IClearner/p/6617207.…

MySQL常用的查询命令 author: headsen chen   2017-10-19  10:15:25 个人原创.转载请注明作者,出处,否则依法追究法律责任 1,查询现在的时间:mysql> select now();+---------------------+| now() |+---------------------+| 2017-09-22 11:22:17 |+---------------------+1 row in set (0.00 sec) 2,查询主从灾备的主的…

本文链接:http://www.cnblogs.com/MartinChentf/p/6076075.html (转载请注明出处) 在Linux系统中,mkdir命令用来创建一个目录或一个级联目录. 1. 命令格式 mkdir [选项] 目录名 2. 命令选项 -m=mode 为目录指定访问权限,与chmod类似. -p 如果目录已经存在,则不会有错误提示.若父目录不存在,将会创建父目录.该选项常用于创建级联目录. -v 为每个目录显示提示信息. 3. 实例 实例1:在当前目录创建baklog目…

本文链接:http://www.cnblogs.com/MartinChentf/p/6060252.html (转载请注明出处) crontab是一个用来设置.删除或显示供守护进程cron执行的定时任务的命令.每一个用户都可以拥有属于自己的定时任务,定时任务文件默认以用户名命名,并放在/var/spool/cron目录,该目录普通用户无访问权限. 可以通过cron.allow 和 cron.deny文件管理用户使用cron服务的权限.如果cron.allow存在,用户必须列在其中才会被允许使用…

本文链接:http://www.cnblogs.com/MartinChentf/p/6057100.html (转载请注明出处) ipcs 1. 命令格式 ipcs [resource-option] [output-format] ipcs [resource-option] -i id 2. 命令功能 提供IPC设备的信息 3. 使用方法 resource选项: ipcs -m 查看系统共享内存信息 ipcs -q 查看系统消息队列信息 ipcs -s 查看系统信号量信息 ipcs [-a…

做Java开发好几年了,部署JavaWeb到服务器上,一般都选择Linux,Linux作为服务器真是不二之选,高性能,只要熟悉Linux,操作快捷,效率很高. 总结一下工作中常用的Linux命令备忘: 一.文件操作相关命令 1.创建目录 mkdir software 2.创建多级目录 mkdir /opt/software/ -p 3.删除文件或目录 rm test.sh 此删除命令运行后需要输入y确认的交互过程 rm -f test.sh 直接强制删除不需要输入yes确定 rm -rf /op…

简述shell 命令与 非shell命令区别 shell命令不用先adb shell进入界面执行 非shell命令必须要 adb shell进入界面执行 基础非shell命令 1.安装app adb install apk文件的绝对路径 2.卸载app adb uninstall 包名 3.将设备文件拉取本地 adb pull 设备文件路径 本地保存路径 4.将本地文件上传到设备 adb push 本地文件路径 设备文件保存路径 5.截屏 adb shell screencap -p 截图文件保…

1.ping命令 ping是电脑网络故障诊断中的常用的命令,它的作用是用来检查网络是否通畅或者网络连接速度.我们来看一下PING命令的具体表述. 日常的诊断过程中我们最常用到的就是诊断连接是否通畅. 比如电脑无法上网,我们就可以ping一下网关或者服务器地址,看连接是否正常,根据ping的返回结果来制定下一步的诊断思路.再比如局域网内某台电脑无法连接到共享的打印机,我们可以ping一下网关地址,看自己的网络是否正常,再ping一下打印机的主机地址看是否和主机网络连接正常.现在以小编的电脑,pin…

前言 只有光头才能变强. 文本已收录至我的GitHub仓库,欢迎Star:https://github.com/ZhongFuCheng3y/3y 之前写过一篇 < 在公司做的项目和自己在学校做的有什么区别? >不知道大家还有印象没有,里面提到了在工作中可能需要等上Linux服务器,查看一些信息(特别是查日志找Bug). 我在大学的时候也有过Linux的课程,在期间也做过Linux相关的笔记: 看完这篇Linux基本的操作就会了 用户和权限管理看了你就会用啦 Linux进程管理 Linux网络…

前言 面试经常会问到一些Linux操作命令,下面就工作中常用的和面试问的频率较高的命令做详细描述. 常用命令 修改密码:passwd 用户名 切换用户名:su 用户名 查看当前路径:pwd 调整路径:cd. .cd.. .cd 具体路径 复制文件:cp 原文件 目标位置 剪切.移动:mv 原文件 目标文件 创建目录:mkdir 目录 创建文件:touch 文件 删除文件:rm [选项][文件](选项-f,强制删除) 查看文件类型:file 文件 浏览文件:cat.vi.vim.tail.more…

-- 查看当前环境参数配置set -v;-- 重置配置为默认值reset; -- 调整map数-- input的文件大小,集群设置的文件块大小,hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改set mapred.max.split.size=400000000;set mapred.min.split.size.per.node=400000000;set mapred.min.split.size.per.rack=400000000;set hive.i…

这些子查询在oracle和mysql等数据库中都能执行,但是在hive中却不支持,但是我们可以把这些查询语句改为join操作: -- 1.子查询 select * from A a where a.update_time = (select min(b.update_time) from A b) -- 2.in操作 select * from A a where a.dept = 'IT' and a.num ') 改为join操作如下: select t2.* from (select mi…

在电脑中除了我们常见的图形界面之外,图形页面的操作相信都会.那么还有在cmd执行的一些dos命令,可以简单记一下,方便日后复习所用 首先打开cmd窗口,windows+R,然后在对话框输入cmd,进入cmd页面 常用的DOS命令 盘符切换 符盘名加冒号 通过 图片可以清楚的看到,已经从c盘切换到d盘了 查看当前目录下所以文件 dir 是查看目录下所有文件的命令,现在实践一下 首先切换到e盘,查看e盘下的所有文件 这样就可以清楚的看到e盘下的文件夹下的所有文件了 切换目录 在dos命令中用 cd(…

1.从其他机器拷贝文件夹 格式: scp -r 文件夹名 用户名@机器名:/路径 范例: scp -rsearch work@zjm-testing-ps23.zjm.baidu.com:/home/work/ 2.查看哪个程序在用特定端口 格式: netstat-nap | grep 端口号 范例: netstat -nap| grep 8080 3.实时监控日志文件内容 格式: tail -f 日志文件名 范例: tail -fui.log 说明:这显示ui.log文件的最后十行.tail…

小时候家里定了<读者>的月刊,里面记录一个故事:说有有个偏僻的乡村一日突然来了一个美女,她携着万贯家财子女在当地安家落户,成了当地的乡绅.她让她的子女世世代代的保守这个秘密,直到这个秘密不会再对家族带来灾难.她就是陈圆圆.当年吴三桂领清兵入关,冲冠一怒为红颜,改写了中国的历史,自己却能全身而退的那个人. 周五例行公事的查看一下离线数据推送项目的数据和log.将log用awk分段之后,我想知道实时数据前10个被重复发送的数据ID都被重复发送了几次,从而找到进一步优化的入手点,天知道我对这个项目已…

小时候家里定了<读者>的月刊,里面记录一个故事:说有有个偏僻的乡村一日突然来了一个美女,她携着万贯家财子女在当地安家落户,成了当地的乡绅.她让她的子女世世代代的保守这个秘密,直到这个秘密不会再对家族带来灾难.她就是陈圆圆.当年吴三桂领清兵入关,冲冠一怒为红颜,改写了中国的历史,自己却能全身而退的那个人. 周五例行公事的查看一下离线数据推送项目的数据和log.将log用awk分段之后,我想知道实时数据前10个被重复发送的数据ID都被重复发送了几次,从而找到进一步优化的入手点,天知道我对这个项目已…

awk 示例: env变量值如下,需要获得pkg_url的链接值: {"name": "michael", "sex": "male", "pkg_url": "www.github.com", "number": "888"} pkg_url=$(echo $env | awk -F "pkg_url\": \"&q…

执行数据库查询时,有完整查询和模糊查询之分.一般模糊语句如下:SELECT 字段 FROM 表 WHERE 某字段 Like 条件 其中关于条件,SQL提供了四种匹配模式:1.%:表示任意0个或多个字符.可匹配任意类型和长度的字符,有些情况下若是中文,请运用两个百分号(%%)表示.比如 SELECT * FROM [user] WHERE u_name LIKE '%三%'将会把u_name为"张三","张猫三"."三脚猫","唐三藏&…

摘自 http://my.oschina.net/syyzhan/blog/277536 1.查看日志文件 使用命令:cat 或者 tail -f(默认查看文件尾部10行) 相关日志文件: /var/log/messages 系统启动后的信息和错误日志,是Red Hat Linux中最常用的日志之一  /var/log/secure 与安全相关的日志信息  /var/log/maillog 与邮件相关的日志信息  /var/log/cron 与定时任务相关的日志信息  /var/log/spoo…

盒子应用开发时,调试比手机上的开发比较麻烦一点,而且需要经常跟 adb 打交道,不管是 wifi 连接调试,还是应用删除安装等.这里记录一些常用的操作,方便查阅. adb wifi连接调试 方法一:需要root权限 在网上下载超级终端工具,然后输入下面命令: su setprop service.adb.tcp.port 5555 stop adbd start adbd 超级终端工具在各大应用市场中就可以下载,或者编译运行 github 上的终端应用,附上链接:Android-Terminal…

调试 bash 脚本的技巧 加 -x 参数运行 bash 脚本时,会显示执行的语句 # 也可以在 demo.sh 中加上 set -x bash -x demo.sh 设置环境变量,然后通过如上方式运行脚本时,会显示行号 export PS4='+${BASH_SOURCE}:${LINENO}:${FUNCNAME[0]}: ' 参考 [耗子叔-如何调试BASH脚本](https://coolshell.cn/articles/1379.html/comment-page-1#comment-…

起因 公司用的AWS EMR上的hive,突然不能删除表了. 经过 分析来看,估计是元数据那块出了问题.从元数据入手,元数据存在mysql的hive数据库中 直接使用hive配置文件hive-site.xml中的用户名密码访问mysql数据库 mysql -h ip -uhive -p ERROR 1045 (28000): Access denied for user 'hive'@'ip' (using password: YES) 使用 root用户登录mysql,进入mysql数据库,查…

查看系统基本信息: cmd -> systeminfo 或 run -> dxdiag 查询主板出厂日期: cmd -> wmic bios get releasedate 关闭本地计算机: cmd -> wmic process call create shutdown.exe 获取进程名称以及可执行路径: cmd -> wmic process get name,executablepath 全盘搜索某文件: cmd -> wmic datafile where &…

1.Linux文件分层结构  FHS:Linux有一个组织叫LSB定义的Linux发行版基础目录名称命名法则及功用规定,这种标准叫FHS文件系统层级标准./bin   存放可执行的二进制程序,管理员和普通用户都可以使用/sbin   管理员才能执行的命令/boot   存放系统引导文件:内核.ramfs文件.bootloader(grub)/dev   设备文件存放目录/etc   配置文件的集中存放目录  /etc/sysconfig  系统级别的应用  /etc/init.d  系统服务脚本…

1.目录相关命令的使用  pwd(printing working directory) 显示当前工作目录    pwd命令相关的环境变量:     PWD  保存了当前工作目录路径     OLDPWD 保存了上一次工作目录路径    每次执行pwd命令就是去读取PWD的值 cd(change directory) 改变工作目录  语法格式  cd [/PATH/TO/SOMEDIR]    cd或cd~ 切换回当前用户的家目录    cd ~USERNAME 切换至指定用户的家目录(管理员能…

前言 做后端开发的同学,一般都会接触到服务器,而我们现在的系统用的比较多的服务器系统就是linux了,平时多多少少也会接触到一些linux下的shell命令.我们来介绍下linux一些常用的命令和使用场景. pwd,请告诉我,当前在哪个目录? pwd命令以绝对路径的方式显示用户当前工作目录.命令将当前目录的全路径名称(从根目录)写入标准输出.全部目录使用/分隔.第一个/表示根目录,最后一个目录是当前目录.执行pwd命令可立刻得知您目前所在的工作目录的绝对路径名称. 实例 [root@localh…

1. desc function [函数名] desc function xpath; 查询用法: 2. desc function extended [函数名] desc function extended xpath; 查询使用举例: 3. 自定义函数添加说明: 使用@Description注解 name: 指定函数名 value: 函数说明 extended:函数的例子 /** * 解密udf */ @Description( name="decrypt_all", value=…

本文并不将linux的常用命令全部罗列出来,列出一下常用.容易忘记的命令. 更详细的说明见:https://www.cnblogs.com/xuxinstyle/p/9609551.html 文件相关 1. ls -l:长数据串行出,包含档案的属性等等数据: 2. tree 显示树形的层级目录结构,非原生命令,需要安装tree 3. cp 用于复制 -a :将文件的特性一起复制 -p :连同文件的属性一起复制,而非使用默认方式,与-a相似,常用于备份 -i :若目标文件已经存在时,在覆盖时会先询…