今天的业务场景大概是这样的,我想把hive表格下载到本地文件系统,然后把这个文件传送到另一个服务器上. 但是这个业务场景一个核心问题就是说我本地机器内存有限,hive表格大概是70G,我是不可能全部下载到本地的.这个时候我想到的一个方法就是依靠分区实现这个目的. 首先这个hive表格的内容大概是这样的-temp_zida_uids_bowen_content_new_zida: uid,mid,content,date 是没有分区信息. 我首先要做的就是将这个表格改为具有分区.这种情况我们使用的…

写一个脚本(前提:请为虚拟机新增一块硬盘,架设它为/dev/sdb),为指定的硬盘创建分区 1,列出当前系统上所有的磁盘,让用户选择,如果选择quit则退出脚本:如果用户选择错误,就让用户重新选择 2,档用户选择后,提醒用户确认接下来的操作可能会损坏数据,并请用户确认:如果用户选择y就继续,n就退出:否则,让用户重新选择: 3,抹除那块硬盘上的所有分区(提示,抹除所有分区后执行sync命令,并让脚本睡眠3秒后在分区),并为其创建三个主分区,第一个为20M,第二个为512M,第三个为128M,切第…

#该管理系统是参考两位博主(时间有点远了,我忘了,请博主看到后联系我)后自行修改添加的.登录过程还有很多不完善,我就抛砖引玉啦. 废话不多,直接上码! #!/bin/bash# 学生管理系统# @version 1.0 #设置全局变量##学生信息和学院信息#学院相关变量school_num=""school_name="" #学生相关变量stu_num=""stu_name=""stu_des="" #成绩…

核心代码 def run(command): #实时获取打印的命令 process = Popen(command, stdout=PIPE, shell=True) while True: line = process.stdout.readline() if not line: break yield line…

一.简介 源码地址 日期:2018/6/23 介绍:显示简单的系统信息 效果图: 二.使用 适用:centos6+,ubuntu12+ 语言:中文 注意:无 下载 wget https://raw.githubusercontent.com/goodboy23/shell/master/jobs/cha_sys.sh 执行 bash cha_sys.sh…

一.批量上传: #!/bin/bash #SFTP配置信息 #用户名 USER=root #密码 PASSWORD=5EYS40T04BMF #待上传文件根目录 SRCDIR=/u02/dab/sftpFiles #FTP目录 DESDIR=/u01/sftpFiles #IP IP=192.168.10.11 #端口 PORT=22022 #获取文件 cd ${SRCDIR} ; #目录下的所有文件 #FILES=`ls` #修改时间在执行时间五分钟之前的xml文件 FILES=`find $…

最近工作需要用到对硬盘进行shell脚本自动化分区和mount的操作,google了一些资料,下面做个总结. 如果硬盘没有进行分区(逻辑分区或者扩展分区,关于两者概念,自行google),我们将无法将使用该硬盘来进行读写.我们要使用一块硬盘需要进行下面三步: 将该硬盘进行分区: 对分区进行格式化: 将分区mount到系统某个目录,便可以访问. 本笔记会着重讲一下第一步中涉及的fdisk分区功能以及如何来使用shell进行自动化处理,过程也会涉及后面两步操作的简单说明. fdisk对硬盘进行分区…

目录 一.项目目标 二.实施工具 三.项目实施计划 四.安装rhel7.5操作系统 4.1 配置虚拟机 4.2 安装操作系统 4.3 系统配置 4.3.1 网络配置 4.3.2 修改主机名 4.3.3 关闭防火墙和selinux 4.3.4 配置本地yum源 4.3.5 创建快照 五.组建LVM 六.使用yum安装apache服务 七.自动备份数据 一.项目目标 ​ 根据公司要求:集成一套LINUX系统,按照规定进行分区划分,组建LVM分区,创建用户:部署一套web+mysql,并通过shell…

日常编写shell脚本时会写一些账号和密码写入脚本内,但是不希望泄露账号密码,所以对shell脚本进行加密变成可执行文件. 主要使用 shc 对 Linux shell 脚本加密,shc是一个专业的加密shell脚本的工具.它的作用是把shell脚本转换为一个可执行的二进制文件,可以避免我们shell脚本中保密信息被公开. 一.官网下载shc shc下载地址: http://www.datsi.fi.upm.es/~frosal/sources/shc-3.8.9.tgz 二.安装shc 1.解…

shell脚本的格式 名称:Shell 脚本文件的名称可以任意,但为了避免被误以为是普通文件,建议将 .sh 后缀加上,以表示是一个脚本文件. shell 脚本中一般会出现三种不同的元素: 第一行的脚本声明(#!)用来告诉系统使用哪种 Shell 解释器来执行该脚本: 第二行的注释信息(#)是对脚本功能和某些命令的介绍信息,使得自己或他人在日后看到这个脚本内容时,可以快速知道该脚本的作用或一些警告信息: 第三.四行的可执行语句也就是我们平时执行的 Linux 命令了. shell用法中/dev/…