【AWS】AWS Glueを使って、データ分析基盤を構築する(CSV → Parquet)

最近データ分析基盤系に興味をもっているので、AWS Glueを使ったデータ分析基盤の構築についてのチュートリアルをやってみました。 CSVファイルを分析用のファイル形式の「Parquet」に変換し、Amazon Athenaから閲覧します。 AWS Glue と Amazon S3 を使用し…

【Azure AZ-103 試験対策】IDの管理

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【Azure AZ-103 試験対策】仮想ネットワークの設定と管理

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【AWS】CognitoのTOTP設定がCloudformation設定に対応

CognitoのTOTPの設定をCloudFormatoinで実施できるようになったのでメモ。 AWSのリリースには、サポート強化された旨は書かれていたのですが、具体的にどこか明示されていなかったので公式ドキュメントを確認しました。 Amazon Cognito で CloudFormation の…

【AWS】 IAMで特権ポリシーを操作(アタッチ、デタッチ)できないように制御する

一つのAWSアカウントを複数の部署やチームで共有している場合、権限制御をするために、IAMの管理が必須となります。 今回は、AWがマネージドポリシーとして用意している特権相当のポリシーについて、権限制御するようなIAMポリシーを作成しました。 権限制御…

【AWS】CognitoのTOTPを利用する場合の注意点

※注意 2019年10月時点の情報です。 本記事の内容は、AWS側でアップデートがありそうな内容なため、適宜公式ドキュメントをご確認ください。 Cognitoでは、SMSとTOTPの2つのMFA要素があります。 公式のドキュメントでは、TOTPを推奨としていますが、現時点で…

Postmanを利用して、自己証明書を使ったURLへアクセスする場合の注意点

Postmanを使用してAPIの検証をしていたところうまく接続できなかったのでメモ。 最新版のでは、「ssl certification verification」 が有効になっており、証明書のチェックがされているため、自己証明書を利用している場合エラーとなりました。 検証などで自…