今天的业务场景大概是这样的,我想把hive表格下载到本地文件系统,然后把这个文件传送到另一个服务器上. 但是这个业务场景一个核心问题就是说我本地机器内存有限,hive表格大概是70G,我是不可能全部下载到本地的.这个时候我想到的一个方法就是依靠分区实现这个目的. 首先这个hive表格的内容大概是这样的-temp_zida_uids_bowen_content_new_zida: uid,mid,content,date 是没有分区信息. 我首先要做的就是将这个表格改为具有分区.这种情况我们使用的…

写一个脚本(前提:请为虚拟机新增一块硬盘,架设它为/dev/sdb),为指定的硬盘创建分区 1,列出当前系统上所有的磁盘,让用户选择,如果选择quit则退出脚本:如果用户选择错误,就让用户重新选择 2,档用户选择后,提醒用户确认接下来的操作可能会损坏数据,并请用户确认:如果用户选择y就继续,n就退出:否则,让用户重新选择: 3,抹除那块硬盘上的所有分区(提示,抹除所有分区后执行sync命令,并让脚本睡眠3秒后在分区),并为其创建三个主分区,第一个为20M,第二个为512M,第三个为128M,切第…

最近工作需要用到对硬盘进行shell脚本自动化分区和mount的操作,google了一些资料,下面做个总结. 如果硬盘没有进行分区(逻辑分区或者扩展分区,关于两者概念,自行google),我们将无法将使用该硬盘来进行读写.我们要使用一块硬盘需要进行下面三步: 将该硬盘进行分区: 对分区进行格式化: 将分区mount到系统某个目录,便可以访问. 本笔记会着重讲一下第一步中涉及的fdisk分区功能以及如何来使用shell进行自动化处理,过程也会涉及后面两步操作的简单说明. fdisk对硬盘进行分区…

在hive上建表与普通分区表创建方法一样: CREATE TABLE `dwa_m_user_association_circle`( `device_number` string, `oppo_number` string, `prov_id_oppo` string, `area_id_oppo` string, `dealer_oppo` string, `short_call_nums` bigint, `long3_call_nums` bigint, `long5_call_nums…

Linux Shell脚本攻略 读书笔记 这是一本小书,总共253页,但内容却很丰富,书中的示例小巧而实用,对我这样总是在shell门前徘徊的人来说真是如获至宝:最有价值的当属文本处理,对这块我单独整理出来一篇blog,详见<Linux Shell文本处理工具集锦>下面是文本处理之外的简单介绍,如果你觉得自己的shell需要充充电,强烈建议读读这本<linux Shell脚本攻略>. 嗨,Echo一下 从 echo开始:带引号的 echo和不带引号的 echo区别:使用带引号时,b…

Linux下监控磁盘的空闲空间的shell脚本,对于系统管理员或DBA来说,必不可少.下面是给出的一个监控磁盘空间空间shell脚本的样本,供大家参考. 1.监控磁盘的空闲空间shell脚本 robin@SZDB:~/dba_scripts/custom/bin> more ck_fs_space.sh #!/bin/bash # ------------------------------------------------------------------------------+ #  …

要想详细了解你的Linux系统,为系统评估和性能调化提供准确的信息,那么,你会经常用到这几组命令. 一. 系统信息     1. 查看内核版本.编译主机.编译器版本和编译时间的信息    cat /proc/version                          2. 查看bootloader启动内核的参数     cat /proc/cmdline     3. 查看内核版本和CPU架构等信息     uname -a     4. 查看当前时间.系统运行时间.用户数量和负载信息  …

第12章 Shell脚本编程   l  Shell命令行的执行 l  编写.改动权限和运行Shell程序的步骤 l  在Shell程序中使用參数和变量 l  表达式比較.循环结构语句和条件结构语句 l  在Shell程序中使用函数和调用其它Shell程序 12-1   Shell命令行书写规则 u  Shell命令行的书写规则 对Shell命令行基本功能的理解有助于编写更好的Shell程序,在执行Shell命令时多个命令能够在一个命令行上执行,但此时要使用分号(:)分隔命令,比如: [root@…

1.每天生成一个文件 描述:请按照这样的日期格式(xxxx-xx-xx)每日生成一个文件,例如今天生成的文件为)2017-07-05.log, 并且把磁盘的使用情况写到到这个文件中,(不用考虑cron,仅仅写脚本即可) 参考答案 d=`date +%F` logfile=$d.log file_path='/data/shell/log/'$logfile df -h >$file_path 注:1)date  +%F中date与+之间存在空格 2)其他创建路径/data/shell/log 2…

Linux 性能监控之CPU&内存&I/O监控Shell脚本2   by:授客 QQ:1033553122 思路: 捕获数据->停止捕获数据->提取数据 备注:一些命令的输出,第一次记录的数据是自重启到当前时间的平均值,所以,如果采用循环的方式不断重复开启命令,获取的数据可能不太准确,所以,这里采用开启命令后,一次性捕获需要的数据. (一) 捕获数据 用法:sh capture.sh arg1 arg2 参数说明:arg1为采样频率,arg2为采样时长,单位都为秒 例子:2秒采…

Linux 性能监控之CPU&内存&I/O监控Shell脚本1   by:授客 QQ:1033553122   #!/bin/bash # 获取要监控的本地服务器IP地址 IP=`ifconfig eth0 | grep "inet addr" | cut -f 2 -d ":" | cut -f 1 -d " "` echo "IP地址:"$IP # 获取cpu总核数 cpu_num=`grep -c &qu…

第一章:小试牛刀 #变量赋值 var = value不同于var=value 把var=value写成var = value是一个常见的错误 前者是赋值操作,后者是相等操作 #let命令可以直接执行基本的算数操作 #bc bc是一个用于数学运算的高级工具,这个精密计算器包含了大量的选项 借助bc可以执行浮点数运算并应用一些高级函数 #重定向 >和>>并不相同,尽管这两个操作都可以将文本重定向到文件 前者先清空文件,后者会将内容追加到现有文件的末尾 #位桶(黑洞) /dev/null是一个…

本章内容概要  编程基础  脚本基本格式  变量  运算  条件测试  配置用户环境 7.1 编程基础程序:指令+数据程序编程风格:   过程式:以指令为中心,数据服务于指令   对象式:以数据为中心,指令服务于数据shell程序:提供了编程能力,解释执行 7.1.1 程序的执行方式计算机:运行二进制指令编程语言:   低级:汇编   高级:    编译:高级语言–>编译器–>目标代码     如:java,c#    解释:高级语言–>解释器–>机器代码     如:shell,…

第一部分 Linux 命令行 第1章  初识Linux she1.1   什么是Linux 21.1.1 深入探究Linux 内核 31.1.2 GNU 工具 61.1.3 Linux 桌面环境 81.2   Linux 发行版 121.2.1 核心Linux 发行版 131.2.2 特定用途的Linux 发行版 131.2.3 Linux LiveCD 141.3   小结 15 第2章  走进shell2.1   进入命令行 162.1.1 控制台终端 172.1.2 图形化终端 172.2…

Shell脚本学习指南 作者:Danbo 2015-8-3 脚本编程语言与编译型语言的差异 许多中型.大型的程序都是用编译型语言写的,例如:C.C+.Java等.这类程序只要从源代码(Source Code)转换成目标代码(object code),便能直接通过计算机来执行. 编译型语言的好处是高效,缺点是:他们多半运作于底层,所处理的是字节.整数.浮点数或是其他机器层级的对象.而脚本语言Shell通常是解析型(interpreted)的.这类程序的执行,是由解析器(interpreter)读入…

2013年,还在秒针,当时听说了Mongodb,就学习了下,搞了下HelloWorld.主要是熟悉Mongodb的启动.命令行的Shell脚本.Java访问的CRUD. 今天,由于需要,再次回顾和进一步熟悉了Mongodb.在之前CRUD的基础上,多写了几个功能. 多学习调用几个API,仅此而已. 好记性不如烂笔头,学的越多,往日的总结越有价值. 我早就认识到了这一点,今天稍微总结一点.自己总结一次,比看别人更完整的总结要强. 服务器启动 #启动 Mongodb默认启动,需要在/data/db,…

概述 我们原先在服务器上想分析性能指标,需要执行一系列的linux命令.对于linux命令不熟悉的人来说,比较困难 现在有一套集成的shell脚本,把常用的linux命令都包含在里面,一键式分析性能瓶颈 脚本功能 1.查看CPU利用率与负载(top.vmstat.sar) 2.查看磁盘.Inode利用率与I/O负载(df.iostat.iotop.sar.dstat) 3.查看内存利用率(free.vmstat) 4.查看TCP连接状态(netstat.ss) 5.查看CPU与内存占用最高的10…

[脚本1]打印形状打印等腰三角形.直角三角形.倒直角三角形.菱形 #!/bin/bash # 等腰三角形 read -p "Please input the length: " n $n` do for ((j=$n;j>i;j--)) do echo -n " " done $i` do echo -n "* " done echo done # 倒直角三角形 read -p "Please input the length:…

SHELL脚本编程的条件测试 作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任. 一.条件测试概述 判断某需求是否满足,需要由测试机制来实现 专用的测试表达式需要由测试命令辅助完成测试过程 评估布尔声明,以便用在条件性执行中 若真,则返回0 若假,则返回1 测试命令: test EXPRESSION [ EXPRESSION ] #推荐使用这种风格,易读性更强,操作系统很多脚本判断都是用的这种风格,不过还是看你自己个人习惯,毕竟bash的测试命令支持这三种风格,相当灵活. [[ E…

本文用于记录学习和日常中使用过的shell脚本 [脚本1]打印形状 打印等腰三角形.直角三角形.倒直角三角形.菱形 #!/bin/bash # 等腰三角形 read -p "Please input the length: " n for i in `seq 1 $n` do for ((j=$n;j>i;j--)) do echo -n " " done for m in `seq 1 $i` do echo -n "* " done e…

项目 内容 这个作业属于哪个课程 班级课程的主页链接 这个作业的要求在哪里 作业要求链接地址 学号-姓名 17043133-木腾飞 作业学习目标 1.了解shell 脚本的概念及应用2.掌握shell脚本语言的基本语3.学习简单的shell脚本编程 1.让用户输入一个字符串,如果用户输入的事hello,请输入hello用户姓名首字母所写,否则输出请输入hello #!/bin/bash read -p '请输入一个字符串:' str if [ $str = "hello" ] then…

目录 编写shell脚本的一些规范 解释器 添加脚本版本和注释功能 添加脚本调试 变量命名 全局变量和局部变量 命名规范 函数命名 脚本命名 函数 引用模块或文件 脚本日志 配置文件 其他 编写shell脚本的一些规范 解释器 shell脚本一般选择bash作为解释器,脚本开头应为 #!/bin/bash 或 #!/bin/sh 添加脚本版本和注释功能 在脚本的开头加注释,说明脚本作者.编写时间.脚本功能,最好可以加上脚本的版本号.shell中脚本注释用#,注释语句和#号之间有一个空格 #!/b…

shell脚本中select循环语句 1. 脚本中select的语法格式 select VAR in LIST do command1 command2 ... ... commandN done select循环语句有如下的特点: select语句使用bash内部变量 PS3 的值作为它的提示符 打印到屏幕上的列表LIST中的每一项都会在前面加上一个数字编号 当用户输入的数字与某一个数字编号一致时,列表中列表的项即被赋值给VAR 如果用户输入的内容为空时,将重新显示列表中的项和提示符信息 可以…

[脚本4]自定义rm命令 linux系统的rm命令太危险,一不小心就会删除掉系统文件. 写一个shell脚本来替换系统的rm命令,要求当删除一个文件或者目录时,都要做一个备份,然后再删除.下面分两种情况,做练习: 一.脚本 1.简单的实现 假设有一个大的分区/data/,每次删除文件或者目录之前,都要先在/data/下面创建一个隐藏目录,以日期/时间命名,比如/data/.201703271012/,然后把所有删除的文件同步到该目录下面,可以使用rsync -R 把文件路径一同同步,示例: #!…

本节主要内容: 利用Shell脚本来监控Linux系统的负载.CPU.内存.硬盘.用户登录数. 一.linux系统告警邮件脚本 # vim /scripts/sys-warning.sh #!/bin/bash #site: www.jquerycn.cn #监控系统负载与CPU.内存.硬盘.登录用户数,超出警戒值则发邮件告警. #提取本服务器的IP地址信息 IP=`ifconfig eth0 | grep "inet addr" | cut -f 2 -d ":"…

利用Shell脚本来监控Linux系统的负载.CPU.内存.硬盘.用户登录数. 这几天在学习研究shell脚本,写的一些系统负载.CPU.内存.硬盘.用户数监控脚本程序.在没有nagios监控的情况下,只要服务器能上互联网,就可通过发邮件的方式来提醒管理员系统资源的使用情况. 一.编写linux系统告警邮件脚本 # vim /scripts/sys-warning.sh #!/bin/bash #监控系统负载与CPU.内存.硬盘.登录用户数,超出警戒值则发邮件告警. #提取本服务器的IP地址信息…

转至:https://www.cnblogs.com/tui463/archive/2004/01/13/12663024.html shell脚本练习案例 案例一:通过位置变量创建系统账户及密码 分析 (1)通过位置变量创建 Linux 系统账户及密码 (2)创建用户,111为第一个变量 (3)为用户设置密码,123456为第二个变量 实现 #!/bin/bash useradd "111" echo "123456" | passwd --stdin "…

--作者:飞翔的小胖猪 --创建时间:2021年3月3日 --修改时间:2021年3月7日 说明 每日上传更新一个shell脚本,周期为60天.如有需求的读者可根据自己实际情况选用合适的脚本,也可在评论区留言提出脚本需求,作者会尽快根据需求编写相关脚本对功能进行实现. 每篇文章包含5个脚本. 总进度:8/12 上一篇脚本链接:https://www.cnblogs.com/Pigs-Will-Fly/p/14450642.html 下一篇脚本链接:https://www.cnblogs.com/…

--作者:飞翔的小胖猪 --创建时间:2021年2月6日 --修改时间:2021年2月10日 说明 每日上传更新一个shell脚本,周期为60天.如有需求的读者可根据自己实际情况选用合适的脚本,也可在评论区留言提出脚本需求,作者会尽快根据需求编写相关脚本对功能进行实现. 每篇文章包含5个脚本. 总进度:3/12 上一篇脚本链接:https://www.cnblogs.com/Pigs-Will-Fly/p/14356727.html 下一篇脚本链接:https://www.cnblogs.com…

--作者:飞翔的小胖猪 --创建时间:2021年2月1日 --修改时间:2021年2月5日 说明 每日上传更新一个shell脚本,周期为60天.如有需求的读者可根据自己实际情况选用合适的脚本,也可在评论区留言提出脚本需求,作者会尽快根据需求编写相关脚本对功能进行实现. 每篇文章包含5个脚本. 总进度:2/12 上一篇脚本链接:https://www.cnblogs.com/Pigs-Will-Fly/p/14333284.html 下一篇脚本链接:https://www.cnblogs.com/…