原标题：如何用一个脚本搞定nginx日志分析？

运维工作是一个比较复杂的工作，有时候面对上万条的日志，如何作分析？难道一条条的分析？

这估计看两眼就要打哈欠了吧？聪明的人会选择脚本，这就是为什么现在提倡自动化运维的原因吧，废话不多说，直接上脚本。

public(){

echo ""

read -p "请输入要分析的访问日志: " log_file

echo ""

if [ ! -f $log_file ];then

echo "未找到: ${log_file}"

exit 1

fi

if [ ! -s $log_file ];then

echo "${log_file}是空文件"

exit 1

fi

#输出日志访问量排名前top_num条数据，可自定义

top_num=15

input_file=`echo $log_file | awk -F '/' '{print $(NF)}'`

analyze_dir=/home/download/aa

top_ip_file=$analyze_dir/ngx_log_top_ip_${input_file}.txt

top_src_url_file=$analyze_dir/ngx_log_top_src_url_${input_file}.txt

top_dest_url_file=$analyze_dir/ngx_log_top_dest_url_${input_file}.txt

top_code_file=$analyze_dir/ngx_log_top_code_${input_file}.txt

top_terminal_file=$analyze_dir/ngx_log_top_terminal_${input_file}.txt

mkdir -p $analyze_dir

start_time=`head -1 $log_file | awk '{print $4}'|cut -d "[" -f2`

end_time=`tail -1 $log_file | awk '{print $4}'|cut -d "[" -f2`

total_nums=`wc -l $log_file | awk '{print $1}'`

size=`du -sh $log_file | awk '{print $1}'`

#获取起始与截止时间

echo "访问起始时间: $start_time ; 截止时间: $end_time"

#获取总行数与大小

echo "共访问 $total_nums 次 ; 日志大小: $size"

#获取最活跃IP

cat $log_file | awk '{print $1}' | sort | uniq -c | sort -rn | head -${top_num} > $top_ip_file

#获取访问来源最多的url

cat $log_file | awk '{print $11}' | sort | uniq -c | sort -rn | head -${top_num} > $top_src_url_file

#获取请求最多的url

cat $log_file | awk '{print $7}' | sort | uniq -c | sort -rn | head -${top_num} > $top_dest_url_file

#获取返回最多的状态码

cat $log_file | awk '{print $9}'| sort | uniq -c | sort -rn | head -${top_num} > $top_code_file

#获取返回最多的终端类型

cat $log_file | awk '{print $13}'| sort | uniq -c | sort -rn | head -${top_num} > $top_terminal_file

}

simple(){

echo "+-+-+-+-+-+- 下面是分析内容 +-+-+-+-+-+-"

#获取最活跃IP

printf "最活跃的前${top_num}个访问IP: \n"

cat $top_ip_file

echo ""

#获取访问来源最多的url

printf "访问来源最多的前${top_num}个url: \n"

cat $top_src_url_file

echo ""

#获取请求最多的url

printf "请求最多的前${top_num}个url: \n"

cat $top_dest_url_file

echo ""

#获取返回最多的状态码

printf "返回最多的前${top_num}个状态码: \n"

cat $top_code_file

echo ""

printf ""

#获取返回最多的终端号

printf "返回最多的前${top_num}个终端号: \n"

cat $top_terminal_file

echo ""

printf ""

printf "返回最多的前${top_num}个IP所属城市（查询时间有点慢，耐心等待！）: \n"

echo ''

printf "%-15s %-15s %-30s\n" "访问次数" " IP地址" " 归属地"

echo '-----------------------------------------------'

a=0

cat aa/ngx_log_top_ip_access.log.txt | while read line

do

ip=$(echo $line | cut -d ' ' -f2)

count=$(echo $line | cut -d ' ' -f1)

# echo $ip $(curl -s "https://ip.cn/?ip=$(echo $line | cut -d ' ' -f2)" | awk -F '\"' {'print $8'})

# printf "%-15s %-30s\n" $ip $(curl -s "https://ip.cn/?ip=$(echo $line | cut -d ' ' -f2)" | awk -F '\"' {'print $8'})

# echo $ip $(curl -s "http://freeapi.ipip.net/$(echo $line | cut -d ' ' -f2)" | awk -F '\"' {'print $2$4$6'})

printf "%-10s %-15s %-30s\n" $count $ip $(curl -s "http://freeapi.ipip.net/$(echo $line | cut -d ' ' -f2)" | awk -F '\"' {'print $2"--"$4"--"$6'})

echo '-----------------------------------------------'

let a=a+1

done

echo ""

printf ""

}

case $1 in

help)

echo ""

echo -e $"Usage: $0 enter a log file \n"

;;

*)

public

simple

;;

esac

exit 0

实现功能：

1、分析访问排名前N的ip地址。

2、分析访问排名前N的url。

3、分析访问排名前N的目标url。

4、分析访问排名前N的终端类型。

5、自动匹配排名前N的ip的归属地（没有国外业务的注意了，哈哈。）

注意：日志文件和分析脚本放在一个目录即可，当前接口由于是免费的，每天限量1000个访问吧（ip查询接口商限制，可以更换其他接口）。

原始脚本文件可以联系作者获取。

责任编辑：