雲のメモ帳

猫とクラウドと旅行が好きなインフラエンジニアです。 日々の調べたことや興味が持ったことをこのブログにアウトプットします。

2020-08-01から1ヶ月間の記事一覧

コンテナを使って、JupyterNotebook + PySparkの開発環境を構築する

これはなに? JupyterNotebook + PySparkの開発環境をJupyterが提供しているコンテナイメージより構築する。 開発環境はWindows。

Kinesis Data Firehose とSplunkを連携する際にハマったところ

これはなに? CloudWatchlogs上のログを、Kinesis Data Firehose経由で、Splunkに連携する検証をしていたところ思わぬところでハマったので、その内容について書きます。 Cloudwatchlogsのサブスクリプションの設定やKinesisの設定手順は、以下のチュートリ…

Glue Job実行時に発生する ”File already Exists” の原因を調査する

これはなに? Glue JobでデータフレームからファイルをS3に出力する際に度々おきる ”java.io.IOException: File already exists” の原因調査について、かなりまとまっている記事があったので日本語訳を載せます。 元記事 confusedcoders.com

Glueのデータカタログにカラムを追加した際に、Dynamicframeで認識しないときの対処方法

これはなに? Glueのデータカタログにカラムを追加した時に、Dynamicframeでカラムを認識できずにコケることがあったので、その対象方法と検証結果について書きました。

CodebuildでDiffを実行するとエラーとなる場合の対処方法

これはなに? CodebuildでDiffを実行する場合のTips。 Codebuildのタスクで、特に何も考えずDiffを実行したところ、CodeBuildがエラーでコケたので対処方法について調査しました。