【AWS】CodePipeline から Lambda(Python)を実行した際に、「実行中」 からステータスが変わらない

最近 CI/CD環境の構築をしており、CodePipelineからLambdaを実行した際にハマったのでメモを残します。 問題 問題 環境 原因と解決方法 原因 解決方法 サンプルコード

【AWS】 異なるAWSアカウントのS3バケット間でコピーしたオブジェクトが「403 Access Denied 」になったときの対処法

異なるAWSアカウントのS3間のデータコピーをAWS CLIで実施した際に権限回りで少しはまったので備忘録です。 問題 原因と解決方法 最後に

【AWS】 S3 Select でParquetの中身を簡単に確認する

Parquetファイルは、テキストエディタなどでは中身を確認することがができず、中身を確認するのがすごく手間です。 S3にPaquetファイルを保管している場合は、S3 Select により簡単に中身が確認できるため、その手順を記載します。 手順 最後に

【Python】lambdaでWindowsのPathを指定する場合の注意点(エスケープシーケンス)

LamdbaからRun Command を実施するためにWindowsのPathを指定したところ、うまく実行できず詰まったのでメモ。 普通にWindowsのPathを指定すると \(バックスラッシュ) がPythonのエスケープシーケンスに変換されていたのが原因でした。 [参考サイト] エスケ…

SquidでHTTPS対応な透過的Proxyを構築する

http及びhttpsの通信を透過的に処理するProxyをAWS上に構築します。 https通信を透過的にproxyするには、一度通信の復号化が必要なため、Squidの「ssl-dump」機能を利用します。 本構成では、機能検証のため冗長性等は考慮していません。本番利用する場合に…

【AWS】IAM Role 一覧とアタッチされているポリシーをCSVで出力【boto3】

IAM ロールの一覧とそれにアタッチしているポリシーの一覧を作る必要があり、 手動だと手間がかかるので、Python(boto3)を使ってCSVで出力できるようにしました。 やったこと スクリプト

【AWS】AWS Glueを使って、データ分析基盤を構築する(CSV → Parquet)

最近データ分析基盤系に興味をもっているので、AWS Glueを使ったデータ分析基盤の構築についてのチュートリアルをやってみました。 CSVファイルを分析用のファイル形式の「Parquet」に変換し、Amazon Athenaから閲覧します。 AWS Glue と Amazon S3 を使用し…

【Azure AZ-103 試験対策】IDの管理

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【Azure AZ-103 試験対策】仮想ネットワークの設定と管理

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【AWS】CognitoのTOTP設定がCloudformation設定に対応

CognitoのTOTPの設定をCloudFormatoinで実施できるようになったのでメモ。 AWSのリリースには、サポート強化された旨は書かれていたのですが、具体的にどこか明示されていなかったので公式ドキュメントを確認しました。 Amazon Cognito で CloudFormation の…

【AWS】 IAMで特権ポリシーを操作(アタッチ、デタッチ)できないように制御する

一つのAWSアカウントを複数の部署やチームで共有している場合、権限制御をするために、IAMの管理が必須となります。 今回は、AWがマネージドポリシーとして用意している特権相当のポリシーについて、権限制御するようなIAMポリシーを作成しました。 権限制御…

【AWS】CognitoのTOTPを利用する場合の注意点

※注意 2019年10月時点の情報です。 本記事の内容は、AWS側でアップデートがありそうな内容なため、適宜公式ドキュメントをご確認ください。 Cognitoでは、SMSとTOTPの2つのMFA要素があります。 公式のドキュメントでは、TOTPを推奨としていますが、現時点で…

Postmanを利用して、自己証明書を使ったURLへアクセスする場合の注意点

Postmanを使用してAPIの検証をしていたところうまく接続できなかったのでメモ。 最新版のでは、「ssl certification verification」 が有効になっており、証明書のチェックがされているため、自己証明書を利用している場合エラーとなりました。 検証などで自…

【Azure AZ-103 試験対策】仮想マシン(VM)の展開と管理

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【Azure/AWS】 AzureADを利用して、AWSコンソールへシングルサインオン(SSO)する

Azure ADを使ってAWS コンソールへSSOする設定を実施してみました。 調べてみると思ったよりも記事がなかったり、Azureのコンソールがアップデートされていたりで、意外と詰まりました。 今回利用しているAzureADのライセンスは、「free」です。 やっている…

【Azure】 仮想マシン削除後に、同時に消えないリソースの一括削除

Azureでは、仮想マシンを削除した時に、仮想ディスクやNICなどが同時に削除されません。 そのため、思わぬ課金になることがあるので、Azureを利用する際には、注意が必要です。 ※AWSに慣れていて、リソースが残っていることに気が付かず課金されていました、…

【Azure】Log Analytics Agentを利用し、仮想マシンのログデータを収集する

Azureを利用した仮想マシンのログ管理について、検証してみましたので、その検証内容について記載します。 内容はLog Analytics ワークスペースの作成から、仮想マシンのログが収集されているところを確認するところまで。 仮想マシンのログ収集という意味で…

【Azure】仮想マシンに任意のPrivate IPアドレスを割り当てる

仮想マシンに任意のプライベートIPを割り当てる手順がAWSとAzureで異なっていたので設定方法のメモ。 Azure: AzurePortalから仮想マシンを起動する場合、自動でプライベートIPが付与される。 (コマンドなら起動時に指定可能) AWS: AWS コンソール及びコマン…

【AWS】AmazonLinux2をHyper-vで起動する

目次 1. seed.iso 起動イメージの作成 設定ファイルの作成 ISOイメージファイルの作成 2. Amazon Linux 2 VM イメージのダウンロード 3. AmazonLinux2 起動 環境 Windows Pro ver 1809 Hyper-v version : 10.0.17763.1 参考サイト Amazon Linux 2 を仮想マシ…

【Azure AZ-103 試験対策】ストレージの作成と管理

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【Azure AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する

Azure 資格試験 AZ-103 Microsoft Azure Administrator 取得のためのメモ [AZ-103 Link] 1. 【Azure AZ-103】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【Azure AZ-103】ストレージの作成と管理 - 雲のメモ帳 3. 【Azure AZ-103】…

【Azure】AWSエンジニアがAzureを勉強するために使った資料まとめ

AWSエンジニアがAzureを1から勉強したので、参考ドキュメントとAzureサービス概要を書きました。Azureサービス概要にはAWSサービスに置き換えるとどのサービスが当てはまるかについても言及しています。 目次 1. 参考ドキュメント 2. Azureサービス概要 ネッ…

【Azure】Azureアカウント登録後に実施すること

これまではAWSだけ触ってきましたが、今後Azureに関わる機会が増えそうなのでAzureのアカウント登録をしました。 AWS同様Azureでも、アカウント作成後に必ずやっておいた方がよいことがあったので、まとめます。 AWSコンソールにに慣れているとAzurePortalと…

[AWS認定資格]5冠になったので、勉強法まとめてみた ~アソシエイト編~

こんにちは。 SAPRO、DevOpsを取得でき、AWS認定資格制覇、俗に言う5冠となれましたので、AWS認定資格の勉強法をまとめてみました。参考までに、AWSの利用歴ですが、1年と少しくらいです!

「Toggl」を使って、秒単位の時間管理をする

こんにちは。 最近AWSの資格の勉強などをしていてブログかけてませんでした。 今回技術とは少し離れて、時間管理の話をしたいと思います。内容は軽め。

【AWS】EC2にDockerを導入する (インストールからコンテナ作成、Apache導入まで)

コマンドのチートシートはこちらを参照ください。 Docker CLI チートシート - Qoosky 目次 Dockerインストール(ホストOS作業) Dockerコンテナ作成(ホストOS作業) Apacheインストール(ゲストOS作業) コンテナイメージの保存(ホストOS作業) コンテナ内のApache…

【AWS】 AmazonLinuxにSSH接続用ユーザーと秘密鍵を作成

test001というユーザーと秘密鍵を作成し、ssh接続するまでの備忘録です。 目次 ユーザー作成 公開鍵,秘密鍵作成 公開鍵をリネーム 公開鍵の権限修正 接続確認

【AWS】AmazonLinuxにApacheをソースインストールしてみた

こんにちは。 yumやrpmからパッケージインストールした経験はあったのですが、ソースインストールした経験はなかったので、やってみました。 環境 Amazon Linux AMI 2016.03.3 (HVM), SSD Volume Type - ami-374db956 Apache 2.4.23 目次 事前準備 Apacheイ…

パッケージインストールとソースインストールの違い

こんにちは。 前回phpをパッケージインストールしたのですが、パッケージインストールとソースインストールの明確な違いを理解していなかったので、調べてみました。 前職では、ほぼWindowsServerしか触ったことなかったので、Linuxの基礎から学びます。 目…

【AWS】AmazonLinuxにPHP5.1を導入してみた【メモ】

こんにちは。 必要になるかわかりませんが、AmazonLinuxにphp5.1を入れる機会があったので、メモを残しておきます。 ソースからコンパイルしているわけではなく、RPMからごりごりパッケージインストールしているので、正常に動作しない可能性があります。 イ…