Linux实时查看日志,访问前10IP 和相关命令

Nginx日志分析可以获得很多有用的信息，现在来试试最基本的，获取最多访问的前10个IP地址及访问次数。

既然是统计，那么awk是必不可少的，好用而高效。

命令如下：

awk '{a[$1] += 1;} END {for (i in a) printf("%d %s\n", a[i], i);}' 日志文件 | sort -n | tail

首先用awk统计出来一个列表，然后用sort进行排序，最后用tail取最后的10个。

以上参数可以略作修改显示更多的数据，比如将tail加上-n参数等，另外日志格式不同命令也可能需要稍作修改。

当前WEB服务器中联接次数最多的ip地址

#netstat -ntu |awk '{print $5}' |sort | uniq -c| sort -nr

查看日志中访问次数最多的前10个IP

#cat access_log |cut -d ' ' -f 1 |sort |uniq -c | sort -nr | awk '{print $0 }' | head -n 10 |less

查看日志中出现100次以上的IP

#cat access_log |cut -d ' ' -f 1 |sort |uniq -c | awk '{if ($1 > 100) print $0}'｜sort -nr |less

查看最近访问量最高的文件

#cat access_log |tail -10000|awk '{print $7}'|sort|uniq -c|sort -nr|less

查看日志中访问超过100次的页面

#cat access_log | cut -d ' ' -f 7 | sort |uniq -c | awk '{if ($1 > 100) print $0}' | less

统计某url，一天的访问次数

#cat access_log|grep '12/Aug/2009'|grep '/images/index/e1.gif'|wc|awk '{print $1}'

前五天的访问次数最多的网页

#cat access_log|awk '{print $7}'|uniq -c |sort -n -r|head -20

从日志里查看该ip在干嘛

#cat access_log | grep 218.66.36.119| awk '{print $1"\t"$7}' | sort | uniq -c | sort -nr | less

列出传输时间超过 30 秒的文件

#cat access_log|awk '($NF > 30){print $7}' |sort -n|uniq -c|sort -nr|head -20

列出最最耗时的页面(超过60秒的)

#cat access_log |awk '($NF > 60 && $7~/\.PHP/){print $7}' |sort -n|uniq -c|sort -nr|head -100

tail web.2016-06-06.log -n 300 -f                       　　　 　 查看底部即最新300条日志记录，并实时刷新

grep 'nick' | tail web.2016-04-04.log -C 10  　　　 　 查看字符‘nick’前后10条日志记录, 大写C

 

本文介绍Linux下tail命令的使用方法。
linux tail命令用途是依照要求将指定的文件的最后部分输出到标准设备，通常是终端，通俗讲来，就是把某个档案文件的最后几行显示到终端上，假设该档案有更新，tail会自己主动刷新，确保你看到最新的档案内容。

一、tail命令语法

tail [ -f ] [ -c Number | -n Number | -m Number | -b Number | -k Number ] [ File ]
参数解释：
-f 该参数用于监视File文件增长。
-c Number 从 Number 字节位置读取指定文件
-n Number 从 Number 行位置读取指定文件。
-m Number 从 Number 多字节字符位置读取指定文件，比方你的文件假设包括中文字，假设指定-c参数，可能导致截断，但使用-m则会避免该问题。
-b Number 从 Number 表示的512字节块位置读取指定文件。
-k Number 从 Number 表示的1KB块位置读取指定文件。
File 指定操作的目标文件名称
上述命令中，都涉及到number，假设不指定，默认显示10行。Number前面可使用正负号，表示该偏移从顶部还是从尾部開始计算。
tail可运行文件一般在/usr/bin/以下。

二、tail命令使用方法演示例子

1、tail -f filename
说明：监视filename文件的尾部内容（默认10行，相当于增加参数 -n 10），刷新显示在屏幕上。退出，按下CTRL+C。

2、tail -n 20 filename
说明：显示filename最后20行。

3、tail -r -n 10 filename
说明：逆序显示filename最后10行。

补充：
跟tail功能相似的命令还有：
cat 从第一行開始显示档案内容。
tac 从最后一行開始显示档案内容。
more 分页显示档案内容。
less 与 more 相似，但支持向前翻页
head 仅仅显示前面几行
tail 仅仅显示后面几行
n 带行号显示档案内容
od 以二进制方式显示档案内容

日 志 文 件 说    明 
/var/log/message 系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一 
/var/log/secure 与安全相关的日志信息 
/var/log/maillog 与邮件相关的日志信息 
/var/log/cron 与定时任务相关的日志信息 
/var/log/spooler 与UUCP和news设备相关的日志信息 
/var/log/boot.log 守护进程启动和停止相关的日志消息

系统： 
# uname -a   # 查看内核/操作系统/CPU信息 
# cat /etc/issue 
# cat /etc/redhat-release # 查看操作系统版本 
# cat /proc/cpuinfo  # 查看CPU信息 
# hostname   # 查看计算机名 
# lspci -tv   # 列出所有PCI设备 
# lsusb -tv   # 列出所有USB设备 
# lsmod    # 列出加载的内核模块 
# env    # 查看环境变量 
资源： 
# free -m   # 查看内存使用量和交换区使用量 
# df -h    # 查看各分区使用情况 
# du -sh <目录名>  # 查看指定目录的大小 
# grep MemTotal /proc/meminfo # 查看内存总量 
# grep MemFree /proc/meminfo # 查看空闲内存量 
# uptime   # 查看系统运行时间、用户数、负载 
# cat /proc/loadavg  # 查看系统负载 
磁盘和分区： 
# mount | column -t  # 查看挂接的分区状态 
# fdisk -l   # 查看所有分区 
# swapon -s   # 查看所有交换分区 
# hdparm -i /dev/hda  # 查看磁盘参数(仅适用于IDE设备) 
# dmesg | grep IDE  # 查看启动时IDE设备检测状况 
网络： 
# ifconfig   # 查看所有网络接口的属性 
# iptables -L   # 查看防火墙设置 
# route -n   # 查看路由表 
# netstat -lntp   # 查看所有监听端口 
# netstat -antp   # 查看所有已经建立的连接 
# netstat -s   # 查看网络统计信息 
进程： 
# ps -ef   # 查看所有进程 
# top    # 实时显示进程状态（另一篇文章里面有详细的介绍） 
用户： 
# w    # 查看活动用户 
# id <用户名>   # 查看指定用户信息 
# last    # 查看用户登录日志 
# cut -d: -f1 /etc/passwd # 查看系统所有用户 
# cut -d: -f1 /etc/group # 查看系统所有组 
# crontab -l   # 查看当前用户的计划任务 
服务： 
# chkconfig –list  # 列出所有系统服务 
# chkconfig –list | grep on # 列出所有启动的系统服务 
程序： 
# rpm -qa   # 查看所有安装的软件包

补充：

Unix/linux（88） 

cat /var/log/*.log

如果日志在更新，如何实时查看　　　　　　　　tail -f /var/log/messages

还可以使用 　　　　　　　　　　　　　　　　 watch -d -n 1 cat /var/log/messages

-d表示高亮不同的地方，-n表示多少秒刷新一次。

该指令，不会直接返回命令行，而是实时打印日志文件中新增加的内容，这一特性，对于查看日志是非常有效的。如果想终止输出，按 Ctrl+C 即可。

在Linux系统中，有三个主要的日志子系统：
　　连接时间日志--由多个程序执行，把纪录写入到/var/log/wtmp和/var/run/utmp，login等程序更新wtmp和utmp文件，使系统管理员能够跟踪谁在何时登录到系统。
　　进程统计--由系统内核执行。当一个进程终止时，为每个进程往进程统计文件（pacct或acct）中写一个纪录。进程统计的目的是为系统中的基本服务提供命令使用统计。
　　错误日志--由syslogd（8）执行。各种系统守护进程、用户程序和内核通过syslog（3）向文件/var/log/messages报告值得注意的事件。另外有许多UNIX程序创建日志。像HTTP和FTP这样提供网络服务的服务器也保持详细的日志。

　　常用的日志文件如下：
　　access-log　　　　　　　　 纪录HTTP/web的传输

　　acct/pacct　　　　　　　　 纪录用户命令

　　aculog　　　　　　　　　　 纪录MODEM的活动

　　btmp　　　　　　　　　　　　纪录失败的纪录

　　lastlog　　纪录最近几次成功登录的事件和最后一次不成功的登录

　　messages　　　　从syslog中记录信息（有的链接到syslog文件）系统启动后的信息和错误日志，是Red Hat Linux中最常用的日志之一

　　sudolog　　　　　　　　　　 纪录使用sudo发出的命令

　　sulog　　　　　　　　　　 纪录使用su命令的使用

　　syslog　　　　　　　　　　 从syslog中记录信息（通常链接到messages文件）

　　utmp　　　　　　　　　　　　纪录当前登录的每个用户

　　wtmp　　　　　　　　　　　　一个用户每次登录进入和退出时间的永久纪录

　　xferlog　　　　　　　　　　 纪录FTP会话

/var/log/secure与安全相关的日志信息 
/var/log/maillog 与邮件相关的日志信息 
/var/log/cron 与定时任务相关的日志信息 
/var/log/spooler 与UUCP和news设备相关的日志信息 
/var/log/boot.log 守护进程启动和停止相关的日志消息

　　utmp、wtmp和lastlog日志文件是多数重用UNIX日志子系统的关键--保持用户登录进入和退出的纪录。有关当前登录用户的信息记 录在文件utmp中；登录进入和退出纪录在文件wtmp中；最后一次登录文件可以用lastlog命令察看。数据交换、关机和重起也记录在wtmp文件 中。所有的纪录都包含时间戳。这些文件（lastlog通常不大）在具有大量用户的系统中增长十分迅速。例如wtmp文件可以无限增长，除非定期截取。许 多系统以一天或者一周为单位把wtmp配置成循环使用。它通常由cron运行的脚本来修改。这些脚本重新命名并循环使用wtmp文件。通常，wtmp在第 一天结束后命名为wtmp.1；第二天后wtmp.1变为wtmp.2等等，直到wtmp.7。

　　每次有一个用户登录时，login程序在文件lastlog中察看用户的UID。如果找到了，则把用户上次登录、退出时间和主机名写到标准输出中，然 后login程序在lastlog中纪录新的登录时间。在新的lastlog纪录写入后，utmp文件打开并插入用户的utmp纪录。该纪录一直用到用户 登录退出时删除。utmp文件被各种命令文件使用，包括who、w、users和finger。

　　下一步，login程序打开文件wtmp附加用户的utmp纪录。当用户登录退出时，具有更新时间戳的同一utmp纪录附加到文件中。wtmp文件被程序last和ac使用。

　　具体命令
　　wtmp和utmp文件都是二进制文件，他们不能被诸如tail命令剪贴或合并（使用cat命令）。用户需要使用who、w、users、last和ac来使用这两个文件包含的信息。

　　who：who命令查询utmp文件并报告当前登录的每个用户。Who的缺省输出包括用户名、终端类型、登录日期及远程主机。例如：who（回车）显示

　　chyang　　　　 pts/0 Aug　　　　 18 15:06
　　ynguo　　　　 pts/2 Aug　　　　 18 15:32
　　ynguo　　　　 pts/3 Aug　　　　 18 13:55
　　lewis　　　　 pts/4 Aug　　　　 18 13:35
　　ynguo　　　　 pts/7 Aug　　　　 18 14:12
　　ylou　　　　 pts/8 Aug　　　　 18 14:15

　　如果指明了wtmp文件名，则who命令查询所有以前的纪录。命令who /var/log/wtmp将报告自从wtmp文件创建或删改以来的每一次登录。
　　w：w命令查询utmp文件并显示当前系统中每个用户和它所运行的进程信息。例如：w（回车）显示：3:36pm up 1 day, 22:34, 6 users, load average: 0.23, 0.29, 0.27。
　　USER　　 TTY　　　　FROM　　　　 LOGIN@ IDLE JCPU PCPU　　WHAT
　　chyang pts/0 202.38.68.242　　3:06pm 2:04 0.08s 0.04s -bash
        ynguo pts/2 202.38.79.47　　 3:32pm 0.00s 0.14s 0.05　　 w
　　lewis pts/3 202.38.64.233　　1:55pm 30:39 0.27s 0.22s -bash
　　lewis pts/4 202.38.64.233　　1:35pm 6.00s 4.03s 0.01s sh /home/users/
　　ynguo pts/7 simba.nic.ustc.e 2:12pm 0.00s 0.47s 0.24s telnet mail
　　ylou　　pts/8 202.38.64.235　　2:15pm 1:09m 0.10s 0.04s　　-bash

　　users：users用单独的一行打印出当前登录的用户，每个显示的用户名对应一个登录会话。如果一个用户有不止一个登录会话，那他的用户名将显示相同的次数。例如：users（回车）显示：chyang lewis lewis ylou ynguo ynguo

　last：last命令往回搜索wtmp来显示自从文件第一次创建以来登录过的用户。例如：
　　chyang pts/9　　202.38.68.242 Tue Aug 1 08:34 - 11:23 (02:49)
　　cfan　　pts/6　　202.38.64.224 Tue Aug 1 08:33 - 08:48 (00:14)
　　chyang pts/4　　202.38.68.242 Tue Aug 1 08:32 - 12:13 (03:40)
　　lewis pts/3　　202.38.64.233 Tue Aug 1 08:06 - 11:09 (03:03)
　　lewis pts/2　　202.38.64.233 Tue Aug 1 07:56 - 11:09 (03:12)

　　如果指明了用户，那么last只报告该用户的近期活动，例如：last ynguo（回车）显示：
　　ynguo　　pts/4 simba.nic.ustc.e Fri Aug 4 16:50 - 08:20 (15:30)
　　ynguo　　pts/4 simba.nic.ustc.e Thu Aug 3 23:55 - 04:40 (04:44)
　　ynguo　　pts/11 simba.nic.ustc.e Thu Aug 3 20:45 - 22:02 (01:16)
　　ynguo　　pts/0 simba.nic.ustc.e Thu Aug 3 03:17 - 05:42 (02:25)
　　ynguo　　pts/0 simba.nic.ustc.e Wed Aug 2 01:04 - 03:16 1+02:12)
　　ynguo　　pts/0 simba.nic.ustc.e Wed Aug 2 00:43 - 00:54 (00:11)
　　ynguo　　pts/9 simba.nic.ustc.e Thu Aug 1 20:30 - 21:26 (00:55)

　　ac：ac命令根据当前的/var/log/wtmp文件中的登录进入和退出来报告用户连结的时间（小时），如果不使用标志，则报告总的时间。例如：ac（回车）显示：total 5177.47
　　ac -d（回车）显示每天的总的连结时间
　　Aug 12 total 261.87
　　Aug 13 total 351.39
　　Aug 14 total 396.09
　　Aug 15 total 462.63
　　Aug 16 total 270.45
　　Aug 17 total 104.29
　　Today total 179.00

　　ac -p （回车）显示每个用户的总的连接时间
　　ynguo 193.23
　　yucao 3.35
　　rong 133.40
　　hdai 10.52
　　zjzhu 52.87
　　zqzhou 13.14
　　liangliu 24.34
　　total 5178.22

　　lastlog：lastlog文件在每次有用户登录时被查询。可以使用lastlog命令来检查某特定用户上次登录的时间，并格式化输出上次登录日 志/var/log/lastlog的内容。它根据UID排序显示登录名、端口号（tty）和上次登录时间。如果一个用户从未登录过，lastlog显 示"**Never logged**。注意需要以root运行该命令，例如：

　　rong　　　　　　5　　 202.38.64.187　　　　　　　　 Fri Aug 18 15:57:01 +0800 2000
　　dbb　　　　　　　　　　　　　　　　　　　　　　　　　　 **Never logged in**
　　xinchen　　　　　　　　　　　　　　　　　　　　　　　　 **Never logged in**
　　pb9511　　　　　　　　　　　　　　　　　　　　　　　　 **Never logged in**
　　xchen　　　　 0　　 202.38.64.190　　　　　　　　 Sun Aug 13 10:01:22 +0800 2000

　　另外，可一加一些参数，例如，lastlog -u 102将报告UID为102的用户；lastlog -t 7表示限制上一周的报告。

实战演练：file.log

1.获取文件的行数 wc-l

2.输出文件的最后5行到file2.log

tail -n -20 build.php >>test.php

3.打印文件中包含 www.baidu.com 的行

awk '{if($0~"www.baidu.com") print}' xxx.log
解释说明：抽取xxx.log整个日志文件中，包含“www.baidu.com”的行，打印输出

4.查找当前目录下包含Data 子目录的所有目录,并且删除

find .-name "Data"

find . -name "Data" |xargs rm -rf

5.如何让一个程序在后台运行并把输出定向到指定的文件

用符号" <"和">"来表示。0、1和2分别表示标准输入、标准输出和标准错误信息输出，可以用来指定需要重定向的标准输入或输出，比如 2>a.txt 表示将错误信息输出到文件a.txt中。

test.php & 0>>/usr/log/test

6.如何把一个文件的内容追加到另外一个文件的末尾

cat file1 >> file1

7.实时查看某个文件的输出：

　　at /var/log/*.log

　　如果日志在更新，如何实时查看 tail -f /var/log/messages

　　还可以使用 watch -d -n 1 cat /var/log/messages

　　-d表示高亮不同的地方，-n表示多少秒刷新一次。

　　该指令，不会直接返回命令行，而是实时打印日志文件中新增加的内容，这一特性，对于查看日志是非常有效的。如果想终止输出，按 Ctrl+C 即可。

8.定时任务

*　　*　　*　　*　　*　　command 

9.linux access.log服务器查找查找请求次数最多的IP列表并显示次数

#cat access_log |cut -d ' ' -f 1 |sort |uniq -c | awk '{if ($1 > 100) print $0}'｜sort -nr |less