Lambdaで実行するboto3のバージョンを調べたのでメモ。 調べ方 OSモジュールをインポートして、Lambdaのruntime情報が格納されているディレクトリを参照する。 以下はPython3系のLambdaを調べた時のコード。 import os import pprint as pp def lambda_handl…

【AWS】 Lambda内で利用されるboto3のバージョンを調べてみた

権限の見直しなどでEC2やLambdaのIAMロール回りを見直すことが多く毎回コンソールやCLIで確認するのが手間なので、CSVで出力できるようにしました。 以前IAMロールの一覧とアタッチされているIAMポリシーの一覧を作成するスクリプトを作りましたが、それを改…

【AWS】boto3 でEC2とLambdaにアタッチされているIAMロール一覧を出力する

最近 CI/CD環境の構築をしており、CodePipelineからLambdaを実行した際にハマったのでメモを残します。 問題 問題 環境 原因と解決方法 原因 解決方法 サンプルコード

【AWS】CodePipeline から Lambda(Python)を実行した際に、「実行中」 からステータスが変わらない

異なるAWSアカウントのS3間のデータコピーをAWS CLIで実施した際に権限回りで少しはまったので備忘録です。 問題 原因と解決方法 最後に

【AWS】 異なるAWSアカウントのS3バケット間でコピーしたオブジェクトが「403 Access Denied 」になったときの対処法

Parquetファイルは、テキストエディタなどでは中身を確認することがができず、中身を確認するのがすごく手間です。 S3にPaquetファイルを保管している場合は、S3 Select により簡単に中身が確認できるため、その手順を記載します。 手順 最後に

【AWS】 S3 Select でParquetの中身を簡単に確認する

LamdbaからRun Command を実施するためにWindowsのPathを指定したところ、うまく実行できず詰まったのでメモ。 普通にWindowsのPathを指定すると \(バックスラッシュ) がPythonのエスケープシーケンスに変換されていたのが原因でした。 [参考サイト] エスケ…

【Python】lambdaでWindowsのPathを指定する場合の注意点(エスケープシーケンス)

http及びhttpsの通信を透過的に処理するProxyをAWS上に構築します。 https通信を透過的にproxyするには、一度通信の復号化が必要なため、Squidの「ssl-dump」機能を利用します。 本構成では、機能検証のため冗長性等は考慮していません。本番利用する場合に…

SquidでHTTPS対応な透過的Proxyを構築する

IAM ロールの一覧とそれにアタッチしているポリシーの一覧を作る必要があり、 手動だと手間がかかるので、Python(boto3)を使ってCSVで出力できるようにしました。 やったこと スクリプト

【AWS】IAM Role 一覧とアタッチされているポリシーをCSVで出力【boto3】

最近データ分析基盤系に興味をもっているので、AWS Glueを使ったデータ分析基盤の構築についてのチュートリアルをやってみました。 CSVファイルを分析用のファイル形式の「Parquet」に変換し、Amazon Athenaから閲覧します。 AWS Glue と Amazon S3 を使用し…

【AWS】AWS Glueを使って、データ分析基盤を構築する(CSV → Parquet)

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【Azure AZ-103 試験対策】IDの管理