日常部分数据以 txt 的文件格式提供,为避免入库之后再进行统计的麻烦,故学习 shell 进行处理,减少工作量. 1.样例数据 # test.txt YD5Gxxx|6618151|6825449073|6476534190|36251|超级会员|0 YD5Gxxx|8968336|1445546463|6476534190|36251|超级会员|0 YD5Gxxx|2545939|6904742993|0858636804|36251|超级会员|80%以上 YD5Gxxx|3200810|6

根据fileD6的前4位分组    分别统计该组  5种企业类型fileD31的数量 create or replace view jyjc_bycity as select substr(fileD6,1,4) site, count( case when fileD31 like '%国有%' then 1 end) numg, count( case when fileD31 like '%集体%' then 1 end) numj, count( case when fileD31 li

Shell 命令行统计 apache 网站日志访问IP以及IP归属地 我的一个站点用 apache 服务跑着,积攒了很多的日志.我想用 shell 看看有哪些人访问过我的站点,并且他来自哪里. 因为日志太长了,所以我没跑完就放弃了,因为跑起来太慢了... 分析 apache 日志 140.205.16.220 - - [26/Jun/2017:03:49:51 +0800] "GET /content_article_3.html HTTP/1.1" 200 3 日志内容如上,这个很简

MySQL按日期分组并统计截止当前时间的总数 建表语句 SET NAMES utf8mb4; ; -- ---------------------------- -- Table structure for t_reg -- ---------------------------- DROP TABLE IF EXISTS `t_reg`; CREATE TABLE `t_reg` ( `ID` ) NOT NULL AUTO_INCREMENT COMMENT 'ID编号', `REG_TIM

用户需要登录统计信息,当分析用户行为,使用shell通常可以很容易地取出了大量的数据.删除,然后放入excel统计. 例如:统计日志含有loadCustomProcess这个地址的訪问,按訪问耗时排序: grep "loadCustomProcess" /home/workflow/socket.txt | awk -F " " '{print $11}'|awk -F ":" '{print $2}'|sort -nr  查询出现"I

case when 对表进行条件分组 case简单函数 case   age  when   then select name , sex , age , ( case age /*when 条件成立显示then中内容 then 成立是显示  else 不成立显示 end*/ when age = 18 then '成年人' else '未成年' end when age = 30 then '而立之年' else '小伙子' end ) 身份   /*列名*/ from user name  

参考:http://python.usyiyi.cn/django/topics/db/aggregation.html from django.db.models import Count today = datetime.datetime.now() p1 = datetime.timedelta(days=1) users_today = lockoutusers.objects.filter(lockouttime__range=[(today-p1).date(),(today+p1)

在运维工作中,要经常分析后台系统的日志,通过抓取日志中的关键字信息,对抓取结果进行统计,从而为监控结果提供基础数据.下面的shell演示了如何从大量的日志中取得想要的统计结果.其中展示了各种有趣的命令和shell的用法.具体功能就是统计出某个关键字在不同时段的出现次数.结果格式为“HH 次数” #!/bin/sh # 取得YYYYMMDD格式的日期,以确定所要抓取的日志文件范围 current_date=`date "+%Y%m%d"`; # 拼接组成需要抓取的日志文件名称 file_

分组查询并统计 SpecialGroup.group(:special_type).count select special_type,count(*) from special_groups group by special_type SpecialGroup.group(:special_type).count(:sno) select special_type,count(sno) from special_groups group by special_type SpecialGroup

SELECT DATE_FORMAT(releaseDate,"%Y年%m月") AS dates,COUNT(*) FROM t_diary GROUP BY DATE_FORMAT(releaseDate,"%Y年%m月") ORDER BY DATE_FORMAT(releaseDate,"%Y年%m月") DESC ;releaseDate 日期 t_diary表名 DATE_FORMAT();按照格式对某个日期操作ORDER BY 排序

简述问题“统计最新时刻处于某一状态的设备的数量” 1. 首先子查询结果,可以看到每个设备最新的状态信息 2.1 在子查询的基础上,对设备状态进行分组,进行统计每个状态的设备数量 2.1.1 可以看到处于'火警'状态的数量是2,没有问题,但是看下一张图 2.1.2 可以看到处于'故障'状态的数量是(n/a),此处便出现问题,如果你将此值返回,service层则会报nullpointexception,进行try...catch可以解决 serviceImpl层处理方式 2.2 在子查询的基础上,不

1.日志文件列表 比如:/data1/logs/2019/08/15/ 10.1.1.1.log.gz 10.1.1.2.log.gz 2.统计日志中的某关键字shell脚本 zcat *.gz|grep 关键字 |grep -oP "deviceid=[^=]+"|uniq|sort -u > /tmp/20190815.log date 格式化出年月等信息,拼接成路径 wc -l /tmp/20190815.log , 获取到行数 php /xxxxx/sendmail.ph

此代码是用来回忆当初学的shell脚本,很多知识忘了,写这个花了我三个小时的时间 #!/bin/ksh #count *.c file the num of lineg_csum=0g_hsum=0 count(){# echo "$1,count_line" file_name="$1" res_line=`wc -l $file_name | awk '{print $1}'` echo $res_line return# find . -name "

这里介绍Linq使用Group By和Count得到每个CategoryID中产品的数量,Linq使用Group By和Count得到每个CategoryID中断货产品的数量等方面. 学经常会遇到Linq使用Group By问题,这里将介绍Linq使用Group By问题的解决方法. 1.计数 var q = from p in db.Products group p by p.CategoryID into g select new { g.Key, NumProducts = g.Count

#!/bin/sh #statistics newplive logs SOURCELOGS=$ ];then echo echo "please input file!" echo "eg:/home/liqiu/newlive_090807.log" echo exit ; fi ALLPVNUM=`/bin/cat $SOURCELOGS | /usr/bin/awk -F" " '$2!~/(img|js|css|amf|png|dns|

users文件内容 hello world 我们要统计 users 文件的行数,执行以下命令: $ wc -l users users 也可以将输入重定向到 users 文件: $ wc -l < users 注意:第一个例子,会输出文件名:第二个不会

CREATE TABLE emp(id INT PRIMARY KEY,NAME VARCHAR(11),dep_id INT ,salary INT); CREATE TABLE dept(id INT PRIMARY KEY,NAME VARCHAR(11),parentid INT); 获取各部门人数信息: SELECT e.dep_id,d.name,COUNT(e.dep_id) FROM emp e,dept d WHERE e.dep_id=d.id GROUP BY e.dep_

GROUP BY 1.有个店铺表,字段为区域id,设备数量,店铺名称,如下: 2.如何按区域 district 统计 每个区域的设备数量,SQL如下 SELECT district, SUM( device_num ) AS device_num FROM `t_life_shop` GROUP BY ( district ) 查询结果 3.TP5.1写法 $list = $this->field('district, SUM(device_num)as device_num')->group

目的:统计一段时间内每年.每月.每周.每日.每时.每分数据,无数据时自动补零 思路:1. 生成给定时间段对应日期 2. 将原表中该时间段内的不为0的数据量统计出来 3. 用left join连接起来,无数据的自动补零 难点主要在于步骤一中生成该时间段对应的日期,话不多说,直接贴代码: - - 获取某时间段内的每年 , ), ) ), 'yyyy') AS DATES FROM DUAL CONNECT , ), , ), ) - - 获取某时间段内的每月 , ), ), 'YYYY-MM') A

var q1 = from orderitem in q2 join pd in _iProductDetailContract.Entities on orderitem.ProductDetailId equals pd.Id join pm in ProductMainContract.Entities on pd.ProductMainId equals pm.Id join user in UserContract.Entities on pm.BuyerId equals user.

array=(江苏 浙江 新疆 宁夏 广东 福建 重庆 江西 吉林 湖南 山东 云南  上海 河北 黑龙江 北京 四川 河南 山西 湖北 辽宁 安徽 陕西 广西 贵州 内蒙古 天津 甘肃 海南 青海 西藏) for i in ${array[@]};do echo $i":"; echo `mysql internet -h1.1.1.1 -uUSER -p12345 -e "select count(*) from TABLE where area like \\"