背景

目前有一台腾讯云服务器，在公网上提供了web服务，使用的架构为LNMP，并且为了加固web服务的安全，安装了nginx的ngx_lua_waf模块，可以轻微阻挡一些SQL注入等其余web攻击，也开启了waf模块的日志记录功能。针对目前的一个情况，需要对waf模块的日志进行分析，定期检查web服务器是否存在潜在的危机，下面就跟着我的步骤一起来看一下，如何借助ELK日志分析平台对nginx的waf日志进行分析，并针对分析的结果做一些潜在危机处理的工作。

一、waf日志上传到ELK服务器

目前已经将waf的日志传输到ELK服务器的/var/log/nginx/waf目录下，共有43天的日志数据

先来简单看一下waf模块的日志都是一些什么

[root@elk7 ~]# cat /var/log/nginx/waf/qiufeng5.cn_2020-07-28_sec.log

61.28.109.5 [2020-07-28 23:30:07] "GET qiufeng5.cn/?id=../etc/passwd" "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" "\.\./"

61.28.109.5 [2020-07-28 23:30:28] "GET qiufeng5.cn/?id=../etc/passwd" "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36" "\.\./"

#从这两条日志来看，waf模块日志是有一定格式的，所以我们可以根据日志格式编写正则表达式了

二、Logstash过滤waf日志

[root@elk7 ~]# vim /etc/logstash/conf.d/nginx-waf.conf

input {

file {

path => [ "/var/log/nginx/waf/*.log" ]

add_field => { "tags" => "nginx-waf" }

start_position => "beginning"

#sincedb_path => "/dev/null"

}

}

filter {

if "nginx-waf" in [tags] {

grok {

match => [ "message", "%{IP:client_ip}\s+\[%{TIMESTAMP_ISO8601:timestamp}\]\s+\"(?:%{WORD:client_mode} %{NOTSPACE:request_url})\"\s+\"(%{USER:user}|)\"\s+\"%{GREEDYDATA:user_agent}\"\s+\"(?.*)\"" ]

match => [ "message", "%{IP:client_ip}\s+\[%{TIMESTAMP_ISO8601:timestamp}\]\s+\"(?:%{WORD:client_mode} %{NOTSPACE:request_url})\"\s+(\"|)\"((?.*)|-)\"\s+\"%{GREEDYDATA:user_agent}\"\s+\"(?.*)\"" ]

}

date {

timezone => "Asia/Shanghai"

match => ["timestamp", "yyyy-MM-dd HH:mm:ss"]

target => "@timestamp"

remove_field => "timestamp"

}

geoip {

source => "client_ip"

target => "geoip"

database =>"/usr/share/logstash/vendor/bundle/jruby/2.5.0/gems/logstash-filter-geoip-6.0.3-java/vendor/GeoLite2-City.mmdb"

add_field => [ "[geoip][coordinates]", "%{[geoip][longitude]}" ]

add_field => [ "[geoip][coordinates]", "%{[geoip][latitude]}" ]

}

}

}

output {

if "nginx-waf" in [tags] {

elasticsearch {

hosts => ["10.1.1.1:9200"]

index => "logstash-nginx-waf-%{+YYYY.MM.dd}"

}

}

}

日志经过logstash过滤后，形成以下有价值的字段：

client_ip 访问者的公网IP

@timestamp 访问网站的时间

client_mode 访问网站时使用的HTTP请求方式

request_url 请求的页面资源（URL）

user_agent 用什么浏览器终端访问网站

touch_rule 触发了waf模块的什么内容，才会被拦截的

geoip.city_name 访问者公网IP所在的城市

geoip.region_name 访问者公网IP所在的省份

geoip.country_name 访问者公网IP所在的国家

三、Kibana分析日志