雲のメモ帳

猫とクラウドと旅行が好きなインフラエンジニアです。 日々の調べたことや興味が持ったことをこのブログにアウトプットします。

2020-09-01から1ヶ月間の記事一覧

Databricks(Spark)でXMLファイルを読み込む

これはなに? DatabricksでXMLをソースとしてデータ分析するために、DatabricksでXMLを読み込むための手順。 Sparkのライブラリインストールから、XMLファイルをSparkのデータフレームに格納するところまで。

Splunkで1日のインデックスごとのログ流量を集計する

これはなに? インデックスごとのログ流量を確認するためのTips。 Splunkのライセンス利用料は、基本的に1日の取り込んだログの流量に依存するため、1日辺りのログ流量の情報が重要になってきます。

Splunkでログ分析する際に参考になるリンク集

これはなに? Splunkを利用してログを分析した際に、参考になるサイトが結構あったので、そのリンク集です。 適宜追記していこうと思っています。

S3の特定パス配下にファイルが配置されたことを検知して、Amazon EventBridge(CloudwatchEvents)を実行する

これはなに? S3の特定のパス配下にファイルが配置されたことを検知して、Amazon EventBridge(CloudwatchEvents)を実行するための設定方法。 Amazon EventBridgeからLambdaやCodePipelineを呼べるので、様々の処理のトリガーとして使えます。 Amazon EventBr…