Logstash 收集 IIS 日志

日志样例

查看 IIS 日志配置，选择格式为 W3C（默认字段设置）保存生效。

1. 2016-02-25 01:27:04 112.74.74.124 GET /goods/list/0/1.html - 80 - 66.249.65.102 Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) 404 0 2 703

采集配置

1. input {
2. file {
3. type => "iis_log_1"
4. path => ["C:/inetpub/logs/LogFiles/W3SVC1/*.log"]
5. start_position => "beginning"
6. }
7. }
9. filter {
10. if [type] == "iis_log_1" {
11. #ignore log comments
12. if [message] =~ "^#" {
13. drop {}
14. }
16. grok {
17. # check that fields match your IIS log settings
18. match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IPORHOST:site} %{WORD:method} %{URIPATH:page} %{NOTSPACE:querystring} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clienthost} %{NOTSPACE:useragent} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:scstatus} %{NUMBER:time_taken}"]
19. }
21. date {
22. match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
23. timezone => "Etc/UTC"
24. }
26. useragent {
27. source=> "useragent"
28. prefix=> "browser"
29. }
31. mutate {
32. remove_field => [ "log_timestamp"]
33. }
34. }
35. }
37. output {
38. if [type] == "iis_log_1" {
39. logservice {
40. codec => "json"
41. endpoint => "***"
42. project => "***"
43. logstore => "***"
44. topic => ""
45. source => ""
46. access_key_id => "***"
47. access_key_secret => "***"
48. max_send_retry => 10
49. }
50. }
51. }

注意：

• 配置文件格式必须以 UTF-8 无 BOM 格式编码，可以通过notepad++修改文件编码格式。
• path 填写文件路径时请使用UNIX模式的分隔符，如：C:/test/multiline/*.log，否则无法支持模糊匹配。
• type 字段需要统一修改并在该文件内保持一致，如果单台机器存在多个 Logstash 配置文件，需要保证各配置 type 字段唯一，否则会导致数据处理的错乱。

相关插件：file、grok。

重启 Logstash 生效

创建配置文件到 conf 目录，参考 配置Logstash 重启 Logstash 生效。

下载 PDF