Nginx Log日志统计分析常用命令

3、每秒客户端请求数 TOP5

awk  -F'[ []' '{print $5}' access.log|sort|uniq -c|sort -rn|head -5

4、访问最频繁IP Top5

awk '{print $1}' access.log|sort |uniq -c | sort -rn |head -5

5、访问最频繁的URL TOP5

awk '{print $7}' access.log|sort |uniq -c | sort -rn |head -5

6、响应大于10秒的URL TOP5

awk '{if ($12 > 10){print $7}}' access.log|sort|uniq -c|sort -rn |head -5

7、HTTP状态码(非200)统计 Top5

awk '{if ($13 != 200){print $13}}' access.log|sort|uniq -c|sort -rn|head -5

8、分析请求数大于50000的源IP的行为

awk '{print $1}' access.log|sort |uniq -c |sort -rn|awk '{if ($1 > 50000){print $2}}' > tmp.txt for i in $(cat tmp.txt) do  echo $i  >> analysis.txt   echo "访问行为统计" >> analysis.txt   grep $i  access.log|awk '{print $6}' |sort |uniq -c | sort -rn |head -5 >> analysis.txt   echo "访问接口统计" >> analysis.txt   grep $i  access.log|awk '{print $7}' |sort |uniq -c | sort -rn |head -5 >> analysis.txt   echo -e "\n"  >> /root/analysis/$Ydate.txt done

注：如果源IP来自代理服务器，应将第一条命令过滤地址改为$http_x_forwarded_for地址awk '{print $NF}' access.log|sort |uniq -c |sort -rn|awk '{if ($1 > 50000){print $2}}' > tmp.txt

四、延伸    Nginx日志按日切割后可使用上述命令得出每日网站流量分析概况，然后可以写一个Python脚本读取后发送。也可以将数据导入MySQL然后使用Python绘制曲线。当然使用日志分析系统，如ELK，效果更佳。