ALBのログをKibanaを使用してローカルでざっくりと分析する

背景

ALBのログはAthenaで分析するのが便利で楽です。

しかし、マネコンを見せたくないという場合もありまして、その場合はS3からアクセスログをダウンロードして解析することになります。

以下でダウンロードします。ポイントは、オプションの--recursiveを使用することです。

aws --profile profile-name s3 cp s3://alb-logs/AWSLogs/999999999999/ . --recursive

s3に格納されているログは圧縮されています。そのため、解凍します。

find ./ -type f -name "*.gz" -exec gunzip {} \;

後段のkibanaにアップロードするため、解答したファイルを1つのファイルに集約します。

find ./ -type f -name "*.log" | xargs cat

ELKスタックを使います。

ELKスタックは以下のdockerで動くのを使うのが便利です。

アップロードできるファイルサイズが小さいので、これを1GBに増やします。

以下のようにグラフ化されます。