Linux记录-shell获取hdfs表查询mysql

#!/bin/sh hdfs dfs -ls /user/hive/warehouse | awk '{print $8}' | awk -F "/" '{print $5}' >hivedb.txt sed -i '1d' hivedb.txt dbline=$(cat hivedb.txt | wc -l) let dbline=dbline+1 if [ $dbline -gt 0 ] then for (( i = 1 ; i < $dbline ; i++ ))…

Linux记录-shell获取hdfs used使用

#!/bin/bash export JAVA_HOME=/app/jdk/jdk1.8.0_92 export HADOOP_HOME=/app/hadoop export HADOOP_CONF_DIR=/home/hdfs/balancer/hadoop-conf cd /home/hdfs/balancer mv host.txt host.txt_`date +"%Y-%m-%d"` mv host.txt_`date +"%Y-%m-%d"` host/…

MySQL查询数据表中数据记录（包括多表查询）

MySQL查询数据表中数据记录(包括多表查询) 在MySQL中创建数据库的目的是为了使用其中的数据. 使用select查询语句可以从数据库中把数据查询出来. select语句的语法格式如下: select selection_list // 要查询的内容,选择哪些列 from table_list // 从什么表中查询,从何处选择行 where primary_constraint // 查询时需要满足的条件,行必须满足的条件 group by grouping_columns // 如何对结果…

linux中用shell获取昨天、明天或多天前的日期

linux中用shell获取昨天.明天或多天前的日期时间 -- :: BlogJava-专家区原文 http://www.blogjava.net/xzclog/archive/2015/12/08/428555.html 主题 Shell 原文地址:http://www.itwis.com/html/os/linux/20100202/7360.html linux中用shell获取昨天.明天或多天前的日期: 在Linux中对man date -d 参数说的比较模糊,以下举例进一步说明:…

linux中用shell获取时间,日期

linux中用shell获取昨天.明天或多天前的日期:在Linux中对man date -d 参数说的比较模糊,以下举例进一步说明:# -d, --date=STRING display time described by STRING, not `now’[root@Gman root]# date -d next-day +%Y%m%d #明天日期20091024[root@Gman root]# date -d last-day +%Y%m%d #昨天日期20091022[root@Gma…

python执行shell获取硬件参数写入mysql

最近要获取服务器各种参数,包括cpu.内存.磁盘.型号等信息.试用了Hyperic HQ.Nagios和Snmp,它们功能都挺强大的,但是于需求不是太符,亦或者太heavy. 于是乎想到用python执行shell获取这些信息,python执行shell脚本有以下三种方法: 1. os.system() os.system('ls')#返回结果0或者1,不能得到命令的输出 2. os.popen() output = os.popen('ls') print output.read()#打印出的…

mysql数据库补充知识2 查询数据库记录信息之单表查询

一单表查询的语法 SELECT 字段1,字段2... FROM 表名 WHERE 条件 GROUP BY field HAVING 筛选 ORDER BY field LIMIT 限制条数二关键字的执行优先级(重点) 重点中的重点:关键字的执行优先级 from #从库中找到某张表 where #用where约束条件从表中取出符合条件的数据 group by #将取出的一条条记录进行分组group by,如果没有group by,则整体作为一组 having #将分组的结果进行having过…

MYSQL数据类型表基本操作表记录增删改单表查询

一.数据类型常用的数据类型如下: 整数:int,bit 小数:decimal 字符串:varchar,char 日期时间: date, time, datetime 枚举类型(enum) 特别说明的类型如下: decimal表示浮点数,如 decimal(5, 2) 表示共存5位数,小数占 2 位. char表示固定长度的字符串,如char(3),如果填充'ab'时会补一个空格为'ab '. varchar表示可变长度的字符串,如varchar(3),填充'ab'时就会存储'ab' 对于图片.…

MySQL中如何查询表名中包含某字段的表 ,查询MySql数据库架构信息：数据库，表，表字段

--查询tablename 数据库中以"_copy" 结尾的表 select table_name from information_schema.tables where table_schema='tablename' and table_type='base table' and table_name like '%_copy'; --information_schema 是MySQL系统自带的数据库,提供了对数据库元数据的访问 --information_schema.tab…

巨蟒python全栈开发数据库攻略3：行记录的操作&单表查询3

1.数据行的增删改 2.单表查询 select&where条件 3.group by&having&order by&limit…

mysql数据库补充知识3 查询数据库记录信息之多表查询

一介绍准备表 company.employeecompany.department 复制代码 #建表 create table department( id int, name varchar(20) ); create table employee( id int primary key auto_increment, name varchar(20), sex enum('male','female') not null default 'male', age int, dep_id i…

Linux记录-史上最全的MySQL高性能优化实战总结(转载)

史上最全的MySQL高性能优化实战总结! 1.1 前言 MySQL对于很多Linux从业者而言,是一个非常棘手的问题,多数情况都是因为对数据库出现问题的情况和处理思路不清晰.在进行MySQL的优化之前必须要了解的就是MySQL的查询过程,很多的查询优化工作实际上就是遵循一些原则让MySQL的优化器能够按照预想的合理方式运行而已. 今天给大家体验MySQL的优化实战,助你高薪之路顺畅. 图 - MySQL查询过程 1.2 优化的哲学优化有风险,涉足需谨慎 1.2.1 优化可能带来的问题…

Linux记录-shell 100例（转载）

1.编写hello world脚本 #!/bin/bash # 编写hello world脚本 echo "Hello World!" 2.通过位置变量创建 Linux 系统账户及密码 #!/bin/bash # 通过位置变量创建 Linux 系统账户及密码 #$1 是执行脚本的第一个参数,$2 是执行脚本的第二个参数 useradd "$1" echo "$2" | passwd ‐‐stdin "$1" 3.备份日志 #!…

三十二. 多表查询 MySQL管理工具、用户授权及撤销

1.MySQL管理工具部署LAMP+phpMyAdmin平台安装httpd.mysql.php-mysql及相关包启动httpd服务程序解压phpMyAdmin包,部署到网站目录配置config.inc.php,指定MySQL主机地址创建授权用户浏览器访问.登录使用 mysql50:192.168.4.50 1.1 准备软件的运行环境 lamp ]# yum -y install httpd php php-mysql ]# systemctl restart httpd…

Linux记录-shell实现脚本监控服务器及web应用

1.apache web 服务器 1 2 3 4 5 6 7 8 9 10 !/bin/bash # 表示请求链接3秒钟,不要返回的测试数据 nc -w 3 localhost 80 &>/dev/null if [ $? -eq 0 ];then str="apache web status Running!" else str="apache web status Shuting!" fi # 发送的主题,邮件地址…

Linux记录-shell自动化批量部署sql脚本并记录日志信息（转载）

#!/bin/bash #script_version=v110 db_host=127.0.0.1 db_port=3306 db_username=db_test_inst db_passwd=`XXXXXXXXXXX` db_name=test MYDATE=`date +%Y%m%d%H%M%S` ROOT_PATH=`XXXX/${script_version}` MYSQL_PATH=${ROOT_PATH}/sql LOG_DIR=${LOG_DIR}/log LOG_FILE=$…

Linux记录-shell一行代码杀死进程（收藏）

ps -ef |grep hello |awk '{print $2}'|xargs kill -9…

shell 获取hive表结构

hive -S -e "select * from db_name.table_name limit 0"|grep table_name|xargs -n1|sed 's/table_name.//g'…

Linux记录-Shell自动化部署批量建立用户和批量SSH配置（转载）

if [ ! $# -eq 2 ] ; then echo "请输入用户名和密码以空格分开!" exit else name="$1" passwd="$2" fi cat hosts | while read hosts do echo "正在$hosts上用户$name" expect <<EOF spawn ssh $hosts "useradd $name; echo $name:$passwd…

MySQL之单表查询、多表查询

一.单表查询: 单个表的查询方法及语法顺序需要通过实际例子来熟悉先将表数据创建下: mysql> create database singe_t1; # 建个数据库singe_t1 Query OK, 1 row affected (0.01 sec) mysql> use singe_t1 # 进入数据库singe_t1 Database changed mysql> create table emp( # 创建表emp -> id int not null unique au…

mysql 数据操作单表查询目录

mysql 数据操作单表查询 mysql 数据操作单表查询简单查询避免重复DISTINCT mysql 数据操作单表查询通过四则运算查询 mysql 数据操作单表查询 concat()函数定义显示格式 mysql 数据操作单表查询练习 mysql 数据操作单表查询 concat_ws() 定义显示格式 mysql 数据操作单表查询 where 约束 mysql 数据操作单表查询 group by 分组 mysql 数据操作单表查询 having 过滤 mysql 数据…

mysql数据库优化课程---11、mysql普通多表查询

mysql数据库优化课程---11.mysql普通多表查询一.总结一句话总结:select user.username,user.age,class.name,class.ctime from user,class where user.class_id=class.id; 1.sql中的注释是什么? -- 两个横杠 2.两表无条件查询的结果是什么? 条数乘积 select * from class,user; 1.两表数据进行所有组合.2.数据量是两表条数乘积. 3.多表连接查询(有条件)…

MySQL数据库3分组与单表、多表查询

目录一.表操作的补充 1.1null 和 not null 1.2使用not null的时候二.单表的操作(import) 2.1分组 2.1.1聚合函数 2.1.2group by 2.1.3having 2.1.4升序和降序 2.1.5limit限制输出 2.1.6查询表示需要遵循的顺序(important) 三.多表操作外键 3.1一对多 3.2多对多 3.3一对一 3.4多表联查浮华褪尽,人比烟花寂寞-- --张爱玲一.表操作的补充 select * from 表名 where…

Mysql 单表查询子查询关联查询

数据准备: ## 学院表create table department( d_id int primary key auto_increment, d_name varchar(20) not null);insert into department(d_name ) values('计算机学院'),('外语学院');insert into department(d_name ) values('机械学院'),('建工学院'),('艺术学院'); ## 学生表create table stude…