2019-01-01から1年間の記事一覧
Parquetファイルは、テキストエディタなどでは中身を確認することがができず、中身を確認するのがすごく手間です。 S3にPaquetファイルを保管している場合は、S3 Select により簡単に中身が確認できるため、その手順を記載します。 手順 最後に
LamdbaからRun Command を実施するためにWindowsのPathを指定したところ、うまく実行できず詰まったのでメモ。 普通にWindowsのPathを指定すると \(バックスラッシュ) がPythonのエスケープシーケンスに変換されていたのが原因でした。 [参考サイト] エスケ…
http及びhttpsの通信を透過的に処理するProxyをAWS上に構築します。 https通信を透過的にproxyするには、一度通信の復号化が必要なため、Squidの「ssl-dump」機能を利用します。 本構成では、機能検証のため冗長性等は考慮していません。本番利用する場合に…
IAM ロールの一覧とそれにアタッチしているポリシーの一覧を作る必要があり、 手動だと手間がかかるので、Python(boto3)を使ってCSVで出力できるようにしました。 やったこと スクリプト
最近データ分析基盤系に興味をもっているので、AWS Glueを使ったデータ分析基盤の構築についてのチュートリアルをやってみました。 CSVファイルを分析用のファイル形式の「Parquet」に変換し、Amazon Athenaから閲覧します。 AWS Glue と Amazon S3 を使用し…
Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…
Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…
CognitoのTOTPの設定をCloudFormatoinで実施できるようになったのでメモ。 AWSのリリースには、サポート強化された旨は書かれていたのですが、具体的にどこか明示されていなかったので公式ドキュメントを確認しました。 Amazon Cognito で CloudFormation の…
一つのAWSアカウントを複数の部署やチームで共有している場合、権限制御をするために、IAMの管理が必須となります。 今回は、AWがマネージドポリシーとして用意している特権相当のポリシーについて、権限制御するようなIAMポリシーを作成しました。 権限制御…
※注意 2019年10月時点の情報です。 本記事の内容は、AWS側でアップデートがありそうな内容なため、適宜公式ドキュメントをご確認ください。 Cognitoでは、SMSとTOTPの2つのMFA要素があります。 公式のドキュメントでは、TOTPを推奨としていますが、現時点で…
Postmanを使用してAPIの検証をしていたところうまく接続できなかったのでメモ。 最新版のでは、「ssl certification verification」 が有効になっており、証明書のチェックがされているため、自己証明書を利用している場合エラーとなりました。 検証などで自…
Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…
Azure ADを使ってAWS コンソールへSSOする設定を実施してみました。 調べてみると思ったよりも記事がなかったり、Azureのコンソールがアップデートされていたりで、意外と詰まりました。 今回利用しているAzureADのライセンスは、「free」です。 やっている…
Azureでは、仮想マシンを削除した時に、仮想ディスクやNICなどが同時に削除されません。 そのため、思わぬ課金になることがあるので、Azureを利用する際には、注意が必要です。 ※AWSに慣れていて、リソースが残っていることに気が付かず課金されていました、…
Azureを利用した仮想マシンのログ管理について、検証してみましたので、その検証内容について記載します。 内容はLog Analytics ワークスペースの作成から、仮想マシンのログが収集されているところを確認するところまで。 仮想マシンのログ収集という意味で…
仮想マシンに任意のプライベートIPを割り当てる手順がAWSとAzureで異なっていたので設定方法のメモ。 Azure: AzurePortalから仮想マシンを起動する場合、自動でプライベートIPが付与される。 (コマンドなら起動時に指定可能) AWS: AWS コンソール及びコマン…
目次 1. seed.iso 起動イメージの作成 設定ファイルの作成 ISOイメージファイルの作成 2. Amazon Linux 2 VM イメージのダウンロード 3. AmazonLinux2 起動 環境 Windows Pro ver 1809 Hyper-v version : 10.0.17763.1 参考サイト Amazon Linux 2 を仮想マシ…
Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…
Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…
