awk '{print $1}' /var/log/nginx/access.log | sort | uniq -c | sort -nr -k1 | head -n 10

脚本内容: import matplotlib.pyplot as plt # nginx_file = '10.6.11.91_access.log-2018-12-27' ip = {} #筛选nginx日志文件中的IP with open(nginx_file) as f: for i in f.readlines(): s = i.strip().split()[0] lengh = len(ip.keys()) #统计每个IP的访问以字典存储 if s in ip.keys(): ip

访问ip  awk '{print $1}' access.log| sort | uniq -c | sort -n -k 1 -r | head -n 100 访问地址 awk '{print $7}' access.log| sort | uniq -c | sort -n -k 1 -r | head -n 100

1.根据访问IP统计UV awk '{print $1}' access.log|sort | uniq -c |wc -l 2.统计访问URL统计PV awk '{print $7}' access.log|wc -l 3.查询访问最频繁的URL awk '{print $7}' access.log|sort | uniq -c |sort -nk 1 -r|more 4.查询访问最频繁的IP awk '{print $1}' access.log|sort | uniq -c |sort

获得访问前10位的IP地址: 10.46.170.7 218.202.70.147 77.72.83.87 5.39.217.107 185.197.74.234 185.197.74.231 第二种方法: [root@ELK-chaofeng ~]#cat /var/log/httpd/access_log | awk '{IP[$1]++}END {for (i in IP){ if (IP[i]>=5) {print IP[i],i}}}' | sort -n 5 1.197.190.11

今天,要统计一个系统的每个ip访问次数,于是我找到该系统访问日志,并写脚本实现.   访问日志情况: [root@qular ~]# cd /usr/local/nginx/logs/ [root@qunlar logs]# head access.log  59.151.44.186 - - [15/Dec/2014:20:19:11 +0800] "POST http://ebws.travelsky.com/etcwip/services/CWIPService HTTP/1.0"

192.168.1.0/24(最大32位的子网掩码) 每个ip是8位 那么 24/8 = 3 也就是前三个二进制 是 11111111 11111111 11111111 是指子网掩码的位数.写的是多少,就代表有几个1,其它位数全为0. 比如说24,就代表有24个1,8个0,因为一共是32位. 8位数为一组,就可以写成:11111111 11111111 11111111 00000000 转换成十进制就是255.255.255.0. 在access访问阶段处理IP限制 --without-ht

1. nginx 配置文件中获取源IP的配置项 proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; #一般的web服务器用这个 X-Real-IP 来获取源IP proxy_set_header x-forwarded-for $proxy_add_x_forwarded_for; #如果nginx 服务器是作为反向代理服务器的,则这个配置项是必须的:否则看不到源IP 2. nginx 代理服务器的模块ngi

转载:通过Nginx统计网站的PV.UV.IP 概念 UV:独立访客:以cookie为依据,假设一台电脑装有3个不同的浏览器,分别打开同一个页面,将会产生3个UV.PV:访问量:页面每访问或刷新一次,将会产生一个PV.IP:独立IP地址:以公网IP为依据,每个独立IP访问该页面,将会产生一个IP. nginx配置 在vhost的conf文件中配置以下信息,请将此conf文件的权限设为777,否则无法自动生成日志文件. #日志格式化 log_format tongji '$remote_addr

分IP统计访问次数即网站统计每个IP地址访问本网站的次数. 分析 因为一个网站可能有多个页面,无论哪个页面被访问,都要统计访问次数,所以使用过滤器最为方便. 因为需要分IP统计,所以可以在过滤器中创建一个Map,使用IP为key,访问次数为value.当有用户访问时,获取请求的IP,如果IP在Map中存在,说明以前访问过,那么在访问次数上加1,即可:IP在Map中不存在,那么设置次数为1. 那么问题来了! 问题一:为什么使用Map存放? Map是一个由键值对组成的数据结构,其中所有的key组成一

linux 获取经过N层Nginx转发的访问来源真实IP 学习:http://blog.csdn.net/zhenzhendeblog/article/details/49702575 学习:http://blog.chinaunix.net/uid-20577907-id-3549417.html

假如我的站点后台地址为: http://www.abc.net/admin.php 那么我想限制只有个别ip可以访问后台,那么需要在配置文件中增加: location ~ .*admin.* { allow 1.1.1.1; allow ; deny all; location ~ \.php$ { include fastcgi_params; fastcgi_pass unix:/tmp/php-fcgi.sock; fastcgi_index index.php; fastcgi_para

有些时候我们希望系统只能通过固定的域名访问,禁止IP或者恶意绑定的域名访问. 下面的nginx配置,假如host变量不是指定的域名,将返回403. server { listen 80; server_name newcoina.xgyxserv.com; 5 if ($host != 'newcoina.xgyxserv.com'){ 6 return 403; 7 } location / { root /www; } }

注:图片如果损坏,点击文章链接:https://www.toutiao.com/i6815390070254600712/ 承接上一个文档<Spark本地环境实现wordCount单词计数> 进一步延伸,做一个词频前十的统计练习 逻辑:在reduceByKey的基础上,首先要根据key对应的value值进行排序(降序排序),取前10个的结果就是Top10 val reduceByKeyRDD = sc.textFile("file:///opt/bigdata/spark/READM

对于这个问题困扰了我好几天,前篇文章介绍了图片服务器的使用,但是两个服务器如何进行通话访问呢,即如何通过nginx来访问ftp服务器上的资源文件呢,这里面需要修改nginx的配置文件(vi /usr/local/ nginx/conf/nginx.conf)这个文件.修改后wq保存,重启nginx:进入cd /usr/local/nginx/sbin 这个目录,然后./nginx -s stop关闭,  然后./nginx 启动,即生效.默认的访问路径是  我们只需要将红框中的路径名改为自己需要

有一个需求是统计文件是否被用户完整下载,因为是web应用,用js没有找到实现方案,于是搜索下nginx的实现方案,把简单的探索过程记录下. 实验一 最原始的思路,查看日志,下载了一个文件之后我们看日志的传输的文件大小跟文件原始的大小是否一致 测试要下载的文件的大小 一次完整下载的log 跟一次没下载完成的log,可以通过对比传输字节的大小来判断 这种方式就是根据日志来做统计,每隔一段时间分析日志得到结果,有些麻烦,时效性不好. 实验二: 找了相关的博客 Counting-100-complete

sort命令是帮我们依据不同的数据类型进行排序,其语法及常用参数格式: sort [-bcfMnrtk][源文件][-o 输出文件] 补充说明:sort可针对文本文件的内容,以行为单位来排序. 参 数:  -b   忽略每行前面开始出的空格字符.  -c   检查文件是否已经按照顺序排序.  -f   排序时,忽略大小写字母.  -M   将前面3个字母依照月份的缩写进行排序.  -n   依照数值的大小排序.  -o<输出文件>   将排序后的结果存入指定的文件.  -r   以相反的顺序来

之前曾写过docker及jenkins基础使用  https://www.cnblogs.com/xiaochangwei/category/816943.html 现在搭建环境的功能为: 1.jenkins自动拉取代码打包 2.根据时间戳生成docker镜像 3. 启动生成的镜像 3.1.可以指定启动的名字和访问路径 3.2.可以指定端口 3.3.如果端口或名字已经被占用,则直接停掉之前启动的 4.访问的时候不要输入端口,直接为 测试环境ip/应用名字 根据要求,采用了下列步骤方法: 1.构建

http://www.wocaoseo.com/thread-123-1-1.html 本文来源于百度官方报道,据悉百度统计披露了访客IP地址,小编乐不可支.比起之前欲说还休的访客标识码,百度统计这次也算是花了重金,为广告主了解访客,打开了一个新的入口. 百度统计的实时访客报告,一直以来,都受到广告主的青睐,这个报告以使用简单,数据及时(访客访问后,5秒即可被统计到)著称.它可以让广告主了解每一个访客的详细情况,从哪里来,到哪里去,是身披战甲(终端情况),还是衣袂飘飘. 访客标识码,是根据coo

Nginx限制访问速率和最大并发连接数模块--limit Tengine版本采用http_limit_req_module进行限制 具体连接请参考 http://tengine.taobao.org/document_cn/http_limit_req_cn.html 和官方nginx类似,不过支持多个变量,并且支持多个limit_req_zone的设置.比如: limit_req_zone $binary_remote_addr zone=one:3m rate=1r/s; limit_req

公司的项目有的页面超级慢,20s以上,不知道用户会不会疯掉,于是老大说这个页面要性能优化.于是,首先就要搞清楚究竟是哪一步耗时太多. 我采用spring aop来统计各个阶段的用时,其中计时器工具为StopWatch. 文章结构: 遇到的问题 创建项目 AOP-HelloWorld 时间统计 bug final 压力测试 源码 其中,遇到的问题: 1.少包aspectjweaver 添加依赖后才可以使用@Aspect 2.环绕通知加入多个point 刚开使用&&连接多个point,傻傻的看