通过shell脚本定期更新elasticsearch数据

2024-08-28

通过shell脚本统计elasticsearch indices每天的数量以及大小

前情提要: 最近elasticsearch集群总出问题,之前虽然修复了,现在又出现新的问题,于是PM要求拉取elasticsearch每天建立的索引有多少,索引有多大,需要对机器进行评估客户现场无法接触到elasticsearch集群(生产环境,客户方不许可),通过dashboard开启一个pod(资源有限,无法流畅的操作),只好另寻妖路,从dashboard操作获取索引信息,再将文件传输到本机下面,我要开始装13了(我是菜13,狗头保命) # curl -XGET "localhostIp

shell脚本获取mysql插入数据自增长id的值

shell脚本获取mysql插入数据自增长id的值在shell脚本中我们可以通过last_insert_id()获取id值,但是,需要注意的是,该函数必须在执行插入操作的sql语句之后,立即调用,否则获取的值就为0,LAST_INSERT_ID 是与table无关的,如果向表a插入数据后,在向表b插入数据,LAST_INSERT_ID会改变.当然还有其他方法: 1. select max(id) from tablename: 2. select @@IDENTITY; 3. SHOW TAB

Centos7下crontab+shell脚本定期自动删除文件

问题描述: 最近有个需求,就是rsync每次同步的数据量很多,但是需要保留的数据库bak文件保留7天就够了,所以需要自动清理文件夹内的bak文件解决方案: 利用shell脚本来定期删除文件夹内的任务 1.创建shell文件 [root@zabbix script]# vim backup_sql_clean.sh #!/bin/sh -name "*.bak" -exec rm -rf {} \; 参数说明: /data1/backup/KDKDA\$AGKDPAYKT/XNAKS

shell脚本循环处理文件数据

有一个日志文件为: # cat data.log 需要提取出里面的数据,写shell脚本实现这个功能: #!/bin/bash OLD=$IFS IFS=$'\n' for entry in $(cat /home/users/data.log) do echo "Values in $entry is" IFS=' ' for value in $entry: do echo " $value" done done IFS=OLD 其中IFS变一个环境变量,作为l

shell脚本定期删除日志

定期删除日志: 然后建立清除日志文件的shell脚本,文件名为clean_log只保留最近三天的日志 #! /bin/bashlogdir=/var/log/httpdcd ${logdir}declare -i filesum=`ls access_log.* | wc -l`declare -i delnum=$filesum-3if [ "${delnum}" -ge 1 ];thenrm -rf `ls -tr access_log.* | head -${delnum

使用shell脚本定时采集日志数据到hdfs分布式文件系统

1.首先对linux操作系统的crontab命令进行熟悉和了解: .crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务. .Linux下的任务调度分为两类,系统任务调度和用户任务调度. a.系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘.日志清理等.在/etc

shell脚本--CGI获取请求数据(GET / POST)

Case 1: 获取地址栏传递的参数(即通过GET方式) CGI的环境变量中有个QUERY_STRING,可以获取地址栏传递的参数,该参数可以是手动加上的,也可以是通过表单的get方式提交的,比如下面的例子: #!/bin/bash #index.cgi echo "Content-Type:text/html;charset=utf-8" echo cat << AAA <html> <head> <title>hello world&

Shell脚本_备份/etc数据

vim backup_etc.sh chmod 755 backup_etc.sh 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 #!/bin/bash # 备份/etc文件 # Author:James 2016-10-14 # 同步亚洲时间 ntpdate asia.pool.ntp.org &>/dev/null # 以年月日格

linux shell脚本连接oracle查询数据插入文件和日志文件中

#!/bin/sh sqlplus "用户名/密码@数据库"<<EOF 或者只有一个库的 :sqlplus "用户名/密码"<<EOF sqlplus "用户名/密码"<<EOF 显示连接详情,查询语句 ,查询结果: sqlplus -S "用户名/密码" <<EOF 只显示sql语句查询结果: sqlplus "用户名/密码"<<EO

Hadoop(四）shell脚本定时采集日志数据到hdfs

#!/bin/bash #set java envexport JAVA_HOME=/wocloud/java/jdk1.7.0_45export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=${JAVA_HOME}/bin:$PATH #set hadoop envexport HADOOP_HOME=/home/hadoop/app/hadoop-2.6.4ex

shell脚本自动更新git

gitpull.sh #!/bin/bash cd /home/wwwroot/default/mouse && git pull cd /home/wwwroot/default/sheep && git pull cd /home/wwwroot/default/lion && git pull cd /home/wwwroot/default/proxy && git pull cd /home/wwwroot/default/lion

Shell脚本定期清空大于1G的日志文件

一个关于如何在指定文件大于1GB后,自动删除的问题. 批处理代码如下: #!/bin/bash # 当/var/log/syslog大于1GB时 # 自动将其备份,并清空 # 注意这里awk的使用 if ! [ -f /var/log/syslog ] then echo "file not exist!" exit 1 fi if [ `ls -l /var/log/syslog|awk '{print $5}'` -gt $((1024*1024)) ] then cat /var

1.初识Shell脚本语言

PS:在做Linux下STM8固件升级项目中,需要让CPU通过I2C总线给STM8传输数据,刚开始一个一个的敲,很浪费时间,用shell脚本大大提高了数据传输效率,它是用户与内核进行交互操作的一种接口. 1.vi编辑器的使用 vi编辑器有两种模式,命令模式和输入模式.输入命令:vim test.sh,回车,即可进入命令模式,此时不能进行编辑,需要输入i进入输入模式.输入完之后按wq保存退出,按q不保存退出.(vim是vi的增强版) 2.给文件权限方法1:chmod +x ./test.sh

用linux的shell脚本把目录下面的所有文件的文件内容中的小写字母改成大写字母

最近工作中,产品组的同事给出的数据里面都是小写字母 ,但是引擎组的同事要求他们拿到的从数据里面解析出的结构体里面存储的要都是大写结构,这让我们数据预处理组很尴尬啊,,所以在写了个这么样的脚本,在解析数据之前,先使用shell脚本处理一遍数据...

shell脚本小案例

1.获取远程ftp数据到本地目录 #!/bin/bash ftp -n<<! open 135.0.24.19 user exchange exchange binary cd /idep/data/0/90/201704/11/0851/9011/90110010 #远程目录 lcd /home/oracle/DataChangeTest/target/ftpdata #本地目录 prompt mget BOSSNM_0_3020_5001* close bye ! 2..shell脚本

[原创]MYSQL周期备份shell脚本

这个脚本是实现阿里云mysql数据库全量周期备份的shell脚本,实现备份数据按一周星期几分开存放.一下是脚本内容: #!/bin/bash echo `date`echo "backup begin!!!" DATE1=`date +%Y%m%d%H%M%S`DATE2=`date +%w`BACKUPDIR="/data/backup/backupdir/"BACKUPPATH="/data/backup"BACKUPNAME="/

[转]实现Hive数据同步更新的shell脚本

引言: 上一篇文章<Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ,并更新Hive中的主表>http://www.linuxidc.com/Linux/2014-09/106282.htm描述了增量更新Hive表的原理和Sqoop,Hive命令,本文基于上一篇文章的内容实现了shell脚本的编写,稍加修改就可用于实际工程. shell脚本 #!/bin/bash #Please set the synchronize interval,u

[shell脚本]在Linux终端可视化输出表格数据

最终效果 1. 自定义表格样式 2. 自定义主题颜色支持三系普通颜色支持16色彩虹色支持单颜色回顾一下shell语法 1. shell传递参数我们可以在执行shell脚本时实时传递参数从而指定某些具体的参数(在本例中包括表格的样式.颜色等),脚本中获取参数的格式为$n.其中除n为0表示执行的文件名外,1表示第一个参数,2表示第二个参数,以此类推. 每一模式必须以右括号结束匹配到取值符合某一模式后,执行模式所有命令直到;; 一旦模式匹配则不会执行其他模式如果无一模式匹配,可以使用*捕

利用Shell脚本将MySQL表中的数据转化为json格式

脚本如下: #!/bin/bash mysql -s -phello test >.log <<EOF desc t1; EOF lines="concat_ws(','," count=`.log|wc -l` linenum= while read line do coloumname=`echo $line |awk '{print $1}'` let linenum=linenum+ ];then lines=$lines"concat_ws(':'

如何使用shell脚本快速排序和去重文件数据

前面写过一篇通过shell脚本去重10G数据的文章,见<用几条shell命令快速去重10G数据>.然而今天又碰到另外一个业务,业务复杂度比上次的单纯去重要复杂很多.找了很久没有找到相应的办法,于是用shell脚本程序去处理.具体业务逻辑: 1.首先根据给定指定进行排序 2.排序后对给定字段进行去重,去重的规则如下: a)排序后如果相邻N行给定字段值相同的行数不超过两行,则两行都保留. a)排序后如果相邻N行给定字段值相同的行数超过两行,则保留首行和尾行. 就这样一个业务逻辑,其实看起来并不是太

LNMP最新源码安装脚本（定期更新）

Linux+Nginx+MySQL+PHP+Pureftpd+User manager for PureFTPd,脚本中用到的软件包大多最新版本,修复了User manager for PureFTPd一些安全性问题,不建议使用phpMyAdmin,如需使用可以将解压包放到/data/admin目录下. 又见LNMP有木有?如有错误请各位大虾们及时告之 LNMP已经放到github(定期更新)上,地址:https://github.com/lj2007331/lnmp 脚本中软件版本如下: cm

通过shell脚本定期更新elasticsearch数据

热门专题