Nginx日志分析（截图和文字日志格式不同）
日志格式：'$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent" "$http_x_forwarded_for"'
日志记录：27.189.231.39 - - [09/Apr/2016:17:21:23 +0800] "GET /Public/index/images/icon_pre.png HTTP/1.1" 200 44668 "http://www.test.com/Public/index/css/global.css" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.157 Safari/537.36" “-“
1）统计日志中访问最多的10个IP
思路：对第一列进行去重，并输出出现的次数
方法1：$ awk '{a[$1]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
方法2：$ awk '{print $1}' access.log |sort |uniq -c |sort -k1 -nr |head -n10
说明：a[$1]++ 创建数组a，以第一列作为下标，使用运算符++作为数组元素，元素初始值为0。处理一个IP时，下标是IP，元素加1，处理第二个IP时，下标是IP，元素加1，如果这个IP已经存在，则元素再加1，也就是这个IP出现了两次，元素结果是2，以此类推。因此可以实现去重，统计出现次数。
2）统计日志中访问大于100次的IP
方法1：$ awk '{a[$1]++}END{for(i in a){if(a[i]>100)print i,a[i]}}' access.log
方法2：$ awk '{a[$1]++;if(a[$1]>100){b[$1]++}}END{for(i in b){print i,a[i]}}' access.log
说明：方法1是将结果保存a数组后，输出时判断符合要求的IP。方法2是将结果保存a数组时，并判断符合要求的IP放到b数组，最后打印b数组的IP。
3）统计2017年11月15日一天内访问最多的10个IP 思路：先过滤出这个时间段的日志，然后去重，统计出现次数
方法1：$ awk '$4>="[9/Apr/2016:00:00:01" && $4<="[9/Apr/2016:23:59:59" {a[$1]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
方法2：$ sed -n '/\[9\/Apr\/2016:00:00:01/,/\[9\/Apr\/2016:23:59:59/p' access.log |sort |uniq -c |sort -k1 -nr |head -n10 #前提开始时间与结束时间日志中必须存在
4）统计当前时间前一分钟的访问数 思路：先获取当前时间前一分钟对应日志格式的时间，再匹配统计
$ date=$(date -d '-1 minute' +%d/%b/%Y:%H:%M);awk -vdate=$date '$0~date{c++}END{print c}' access.log$ date=$(date -d '-1 minute' +%d/%b/%Y:%H:%M);awk -vdate=$date '$4>="["date":00" && $4<="["date":59"{c++}END{print c}' access.log$ grep -c $(date -d '-1 minute' +%d/%b/%Y:%H:%M) access.log
说明：date +%d/%b/%Y:%H:%M –> 09/Apr/2016:01:55
5）统计访问最多的前10个页面（$request）
$ awk '{a[$7]++}END{for(i in a)print a[i],i|"sort -k1 -nr|head -n10"}' access.log
6）统计每个URL访问内容的总大小（$body_bytes_sent）
$ awk '{a[$7]++;size[$7]+=$10}END{for(i in a)print a[i],size[i],i}’ access.log
7）统计每个IP访问状态码数量（$status）
$ awk '{a[$1" "$9]++}END{for(i in a)print i,a[i]}’ access.log
8）统计访问状态码为404的IP及出现次数
$ awk '{if($9~/404/)a[$1" "$9]++}END{for(i in a)print i,a[i]}' access.log
9）统计手机机型
日志格式：
172.16.144.116 - - 20/Apr/2018:16:44:24 +0800 - 22500 10250 10 14600 GET moji-m.immomo.com / HTTP/1.1 734 0.032 200 1273 2266 - Mozilla/5.0 (Linux; Android 6.0; PRO 6 Build/MRA58K; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/44.0.2403.146 Mobile Safari/537.36 momoWebView/8.2.4_dev android/1600(PRO 6;android 6.0;zh_CN;1;netType/1) 95261448 1 10.30.60.98:9000 200 4540 0.032
cat moji-m-access.log.gz | awk '{print $22" "$37}' | awk -F '(' '{print $2,$3}' | sort | uniq -c | sort -n
zcat moji-m-access.log.gz | awk -F '(' '{print $4}' | awk -F ')' '{print $1}' | sort | uniq -c |sort -n
zcat moji-m-access.log.gz | awk -F '(' '{print $4}' | awk -F ';' '{print $1}'| sort | uniq -c |sort -n
总数：cat moji-m-access.log | awk '{print $22" "$37}' | awk -F '(' '{print $2,$3}' | sort | uniq -c | sort -n | awk 'BEGIN {count=0} {count+=$1;} END{print count}'
10）统计来自各个系统的数量
cat moji-m-access.log | awk '{print $22}'|sort -n |uniq -c
11）常用
awk -F ',' '{print $1" "$3}' laravel-2018-05-22.log |grep action:get_avatar | awk -F ':' '{print $NF}' | sort -n | uniq -c | sort -n
awk -F ',' '{print $1" "$3}' laravel-2018-05-22.log |grep action:get_avatar | wc -l
awk -F ',' '{print $1" "$3}' laravel-2018-05-22.log |grep action:get_avatar | awk -F ':' '{print $NF}' | sort -n | uniq -c | sort -n | wc -l