大v用户数据统计分析

#!/bin/sh

source_dir=/home/minelab/data/DATA

source_file_name=userinfo_00_au_1_out

source_file=$source_dir/$source_file_name

#source_file=test.src

out_dir=/home/minelab/liweibo/daV

out_file_name=basic_satic.txt

out_file=$out_dir/result/$out_file_name

out_id_file_name=id_count.list

out_id_file=$out_dir/result/$out_id_file_name

rm -rf $out_file

rm -rf $out_id_file

##进行大v用户基础数据统计###

#统计所有微博总数#

echo "#微博总数：">>$out_file

cat $source_file | wc -l >> $out_file

#统计用户总数,发布微博最多的用户和最少的用户#

cat $source_file | awk -F'\t' '{print $16}' | sort | uniq -c | sort -r -n | sed 's/^ *//g' | awk '{print $2"\

\t"$1}'> $out_id_file

echo "#用户总数：">> $out_file

wc -l $out_id_file | awk '{print $1}'>> $out_file

#统计发布微博最多的用户#

echo "#发布微博最多的用户id：">>$out_file

head -n  $out_id_file >> $out_file

#统计发布微博最少的用户#

echo "#发布微博最少的用户id:">>$out_file

tail -n  $out_id_file >> $out_file