これはなに？ 2020年11月にRedshiftのPythonドライバがOSSになったので使ってみた。 Redshiftから取得したデータをPandasのDataframeを使って分析することが多いので、取得してきたデータをDFに格納までしてみました。 GitHub - aws/amazon-redshift-python-…

これはなに？ AWS S3 Selectを使って、CSVやParquetファイルの中身を確認するスクリプトを作ったので備忘録。 CLIをそのまま使うとパラメータの指定が大変なので、スクリプト化しました。利用しているAWSコマンドは、”select-object-content”。 select-objec…

これはなに？ Splunkに、AWS のコストと使用状況レポート (AWS CUR)の情報を取り込んでコスト分析できる環境を構築します。

これはなに？ TeradataからRedshiftへの移行検証をしている際にSCTを利用したのですが、いくつかハマったところがあったのでその対象方法についての備忘録です。 検証の際に利用したAWS公式手順は以下です。 オンプレミスのデータウェアハウスから Amazon Re…

これはなに？ Athenaを利用して別AWSアカウントにあるGlueデータカタログの参照を実施してみます。 通常別AWSアカウントのデータカタログはAthenaで利用できないのですが、2019年にリリースされたAthenaでの外部メタストアの参照機能を利用することで実現で…

これはなに？ AWS SNSを使ったEmail通知のUnsubscribeリンクを無効にする手順。 AWSのシステム通知をAWS SNSを利用してEメール通知することがよくあると思うのですが、メール内に記載されているUnsubscribeを間違えてクリックしてしまい、メール通知が無効化…

これはなに？ AmazonLinuxのサポートが2020年12月31日で終了するため、これまでAmazonLinuxでAWSより提供されていたNATインスタンスをAmazonLinux2で構築してみました。 Amazon Linux AMI のサポート期間終了に関する更新情報 | Amazon Web Services ブログ

これはなに？ Databricks上に作成したテーブルの列にコメントを入れる方法を調べたので備忘録。

これはなに？ PowerBIデスクトップから、Databricks上のテーブルに接続し可視化する手順を記載します。 流れとしては、Databricks上でアクセス情報及びクレデンシャルを取得し、その情報を基にPowerBIデスクトップから接続、可視化を実施します。

これはなに？ Databricksをデータ分析で利用してみたので、備忘録のため所感をまとめてみました。 利用したのはAzure Databricksですが、AWSなど他のプラットフォーム上のDatabricksでも機能的に大きな違いはないと思います。

これはなに？ DatabricksでXMLをソースとしてデータ分析するために、DatabricksでXMLを読み込むための手順。 Sparkのライブラリインストールから、XMLファイルをSparkのデータフレームに格納するところまで。

これはなに？ インデックスごとのログ流量を確認するためのTips。 Splunkのライセンス利用料は、基本的に1日の取り込んだログの流量に依存するため、1日辺りのログ流量の情報が重要になってきます。

これはなに？ Splunkを利用してログを分析した際に、参考になるサイトが結構あったので、そのリンク集です。 適宜追記していこうと思っています。

これはなに？ S3の特定のパス配下にファイルが配置されたことを検知して、Amazon EventBridge(CloudwatchEvents)を実行するための設定方法。 Amazon EventBridgeからLambdaやCodePipelineを呼べるので、様々の処理のトリガーとして使えます。 Amazon EventBr…

これはなに？ JupyterNotebook + PySparkの開発環境をJupyterが提供しているコンテナイメージより構築する。 開発環境はWindows。

これはなに？ CloudWatchlogs上のログを、Kinesis Data Firehose経由で、Splunkに連携する検証をしていたところ思わぬところでハマったので、その内容について書きます。 Cloudwatchlogsのサブスクリプションの設定やKinesisの設定手順は、以下のチュートリ…

これはなに？ Glue JobでデータフレームからファイルをS3に出力する際に度々おきる ”java.io.IOException: File already exists” の原因調査について、かなりまとまっている記事があったので日本語訳を載せます。 元記事 confusedcoders.com

これはなに？ Glueのデータカタログにカラムを追加した時に、Dynamicframeでカラムを認識できずにコケることがあったので、その対象方法と検証結果について書きました。

これはなに？ CodebuildでDiffを実行する場合のTips。 Codebuildのタスクで、特に何も考えずDiffを実行したところ、CodeBuildがエラーでコケたので対処方法について調査しました。

これはなに？ ECSで実行しているコンテナに対して、Lambdaを使って実行時間タイムアウトの仕組みを実装します。 タスク定義にタイムアウトの項目があったので、それで実行時間タイムアウト指定できるかなと思ったのですが、依存関係のタイムアウトとコンテナ…

これはなに？ CodeBuild内でソースプロバイダのブランチ名を取得するTips。 CodeBuildを利用して、DockerFileよりDockerコンテナを作成する際に、ビルドするソースのブランチによって挙動を変えたくて調査しました。 ソースプロバイダは、CodeCommmit。

Athenaを利用して、S3のCSVファイルを読み込むときにヘッター行をスキップするTips

これはなに？ AWS CLIでECRの untagged イメージにタグ名をつける手順メモ。 公式の手順だとイメージ変更にタグ名が必要だが、そもそもタグが付いてないイメージなので困って調べた。 イメージにもう一度タグを付ける - Amazon ECR

これはなに？ EC2やLambdaなどのリソース情報をCSV形式で取得するAWS CLIコマンド群。 コスト削減を目的としてデータ集めていたので、課金に関連するパラメータが多いです。 実行環境はWindows。

AmazonLinux2のコンテナに、AmazonCorretto8,11をインストールして、alternatives で切り替えられるようにします。

ECSでAutoScalngを設定している場合、スケールイン時に実行中のタスクを異常終了させないようにタスクがないかチェックしてあげる必要があります。 AWSの公式ブログで自動化している記事があったので、処理を正確に理解するために記事を参考にしながらLambda…

ECS on EC2のコンテナ内でEFSを利用する際に少しハマったのでさらっと設定の備忘録。 事前準備 設定 ① ECS ‐ タスク定義 - <タスク定義名> - ボリューム ② ECS ‐ タスク定義 - <タスク定義名> - コンテナ定義 - マウントポイント 動作確認

CloudWatchlogsはAWSの各種サービスのログやOSのログなどを簡単に保管できるのですが、気が付くと大量のロググループが作成されていて、料金もまぁまぁ発生したりしています。 今回Boto3使ってCloudwatchlogsの一覧を取得するスクリプトを作成しました。 保…

1. 環境 2. 作業 ① ECSプラグインをインストールする ② クラスター作成 ③ タスク定義作成 ④ Jenkins Slave Template 設定 ⑤ 動作確認 3. 最後に 1. 環境 OS : AmazonLinux2 Jenkins : 2.223-1.1 ECS プラグイン: Amazon Elastic Container Service (ECS) / F…

Lambdaで実行するboto3のバージョンを調べたのでメモ。 調べ方 OSモジュールをインポートして、Lambdaのruntime情報が格納されているディレクトリを参照する。 以下はPython3系のLambdaを調べた時のコード。 import os import pprint as pp def lambda_handl…