異なるAWSアカウントのS3間のデータコピーをAWS CLIで実施した際に権限回りで少しはまったので備忘録です。 問題 原因と解決方法 最後に

【AWS】 異なるAWSアカウントのS3バケット間でコピーしたオブジェクトが「403 Access Denied 」になったときの対処法

Parquetファイルは、テキストエディタなどでは中身を確認することがができず、中身を確認するのがすごく手間です。 S3にPaquetファイルを保管している場合は、S3 Select により簡単に中身が確認できるため、その手順を記載します。 手順 最後に

【AWS】 S3 Select でParquetの中身を簡単に確認する

LamdbaからRun Command を実施するためにWindowsのPathを指定したところ、うまく実行できず詰まったのでメモ。 普通にWindowsのPathを指定すると \(バックスラッシュ) がPythonのエスケープシーケンスに変換されていたのが原因でした。 [参考サイト] エスケ…

【Python】lambdaでWindowsのPathを指定する場合の注意点(エスケープシーケンス)

http及びhttpsの通信を透過的に処理するProxyをAWS上に構築します。 https通信を透過的にproxyするには、一度通信の復号化が必要なため、Squidの「ssl-dump」機能を利用します。 本構成では、機能検証のため冗長性等は考慮していません。本番利用する場合に…

SquidでHTTPS対応な透過的Proxyを構築する

IAM ロールの一覧とそれにアタッチしているポリシーの一覧を作る必要があり、 手動だと手間がかかるので、Python(boto3)を使ってCSVで出力できるようにしました。 やったこと スクリプト

【AWS】IAM Role 一覧とアタッチされているポリシーをCSVで出力【boto3】

最近データ分析基盤系に興味をもっているので、AWS Glueを使ったデータ分析基盤の構築についてのチュートリアルをやってみました。 CSVファイルを分析用のファイル形式の「Parquet」に変換し、Amazon Athenaから閲覧します。 AWS Glue と Amazon S3 を使用し…

【AWS】AWS Glueを使って、データ分析基盤を構築する(CSV → Parquet)

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【Azure AZ-103 試験対策】IDの管理

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【Azure AZ-103 試験対策】仮想ネットワークの設定と管理

CognitoのTOTPの設定をCloudFormatoinで実施できるようになったのでメモ。 AWSのリリースには、サポート強化された旨は書かれていたのですが、具体的にどこか明示されていなかったので公式ドキュメントを確認しました。 Amazon Cognito で CloudFormation の…

【AWS】CognitoのTOTP設定がCloudformation設定に対応

一つのAWSアカウントを複数の部署やチームで共有している場合、権限制御をするために、IAMの管理が必須となります。 今回は、AWがマネージドポリシーとして用意している特権相当のポリシーについて、権限制御するようなIAMポリシーを作成しました。 権限制御…

【AWS】 IAMで特権ポリシーを操作（アタッチ、デタッチ）できないように制御する