Splunk Add-on for AWSの取り込みログを確認する

これはなに？

以前AWS CURの情報をSplunk Add-on for AWSでデータ取り込みをしたのですが、取り込みログを調べる方法を記載します。Splunkのライセンス形態は日毎の取り込み容量になるので、取り込み容量の調査をする際に有効なログです。

以前の記事は以下です。 www.cloudnotes.tech

ログ取得

Splunkの内部ログは、indexの ”internal” に保存されているのですが、アドオンの取り込みログも”internal”に格納されています。
SPLを使って、”_internal” をクエリすることで、Splunk Add-on for AWSの取り込みログが確認できます。

①取り込んだファイル一覧

Splunkに取り込んだ元ファイルの一覧を取得します。

SPL

index="_internal"  st="aws:billing:cur*"
| dedup s
| eval filename = s
| table filename
| sort filename

1行目で、AWS CURの取り込みログのみ取り出し、2行目で重複排除、後はテーブル化してソートしてます。

実行結果

マニフェストファイルと実際のコスト情報の2種類のファイルを取り込んでいるようです。

②取り込んだファイルごとの容量

取り込んだファイルごとの取り込み容量を取得します。

SPL

index="_internal"  st="aws:billing:cur*"
| eval filename = s 
| eval MB = round(b/1048576,2)
| chart sum(MB) as MB by filename
| sort -MB

カラムの ”b” に取り込んだバイト情報が格納されているので、2行目でMB変換して集計しています。

実行結果

③ファイルごとの取り込み回数

ファイルごとの取り込み回数を取得します。

SPL

index="_internal"  st="aws:billing:cur*"
| eval filename = s 
| chart count by filename
| sort -count

実行結果

同じファイルを複数回読み込んでいました。Splunk Add-on for AWSの仕様で前回取り込みとの差分をチェックする際に一度ファイルを取り込んでいるようです。

④日毎の取り込み回数

最後に日毎の取り込み回数を取得します。

SPL

index="_internal"  st="aws:billing:cur*"
| timechart span=1d count

実行結果

Tips

取り込みの容量が想定よりも多い場合は、同じファイルを何度も読み込んでいるのが原因の場合があります。その場合は、Splunk Add-on for AWSの取り込み間隔を長くするといくらか取り込み容量が安定します。

デフォルトは1時間ごとなので、間隔を伸ばしてみてください。