DatabricksへのアクセスをIP制限する

これはなに? DatabricksでIP制限するための手順メモ。 Azureを利用している場合は、P1ライセンスを持っていればAzureADの認証部分でも実施可能ですが、今回はDatabricksの機能を使ってIP制限します。

LINE Botを使って、LINE上からAWS利用料を確認できるようにしてみた

これはなに? AWS利用料を確認するLINE Botを作ってみたので機能紹介と簡単な構築手順&コード公開。 個人の検証環境としてAWSを利用していると結構課金額がいってしまうので、こまめに確認できるようによく利用するツールのLINEを使ってAWS利用料を確認でき…

Redshift から amazon-redshift-python-driver を使ってデータ取得し、Dataframe に取り込む

これはなに? 2020年11月にRedshiftのPythonドライバがOSSになったので使ってみた。 Redshiftから取得したデータをPandasのDataframeを使って分析することが多いので、取得してきたデータをDFに格納までしてみました。 GitHub - aws/amazon-redshift-python-…

AWS CLIでS3 SELECTを実行し、S3上のファイルの中身を簡単に確認する

これはなに? AWS S3 Selectを使って、CSVやParquetファイルの中身を確認するスクリプトを作ったので備忘録。 CLIをそのまま使うとパラメータの指定が大変なので、スクリプト化しました。利用しているAWSコマンドは、”select-object-content”。 select-objec…

Splunk EnterpriseでAWS CURの情報を可視化/分析する

これはなに? Splunkに、AWS のコストと使用状況レポート (AWS CUR)の情報を取り込んでコスト分析できる環境を構築します。

AWS SCTを利用したDB移行でハマった箇所と対処方法

これはなに? TeradataからRedshiftへの移行検証をしている際にSCTを利用したのですが、いくつかハマったところがあったのでその対象方法についての備忘録です。 検証の際に利用したAWS公式手順は以下です。 オンプレミスのデータウェアハウスから Amazon Re…

AthenaでクロスアカウントのGlue データカタログを参照する

これはなに? Athenaを利用して別AWSアカウントにあるGlueデータカタログの参照を実施してみます。 通常別AWSアカウントのデータカタログはAthenaで利用できないのですが、2019年にリリースされたAthenaでの外部メタストアの参照機能を利用することで実現で…

AWS SNS Eメール通知のUnsubscribeリンクを無効化する

これはなに? AWS SNSを使ったEmail通知のUnsubscribeリンクを無効にする手順。 AWSのシステム通知をAWS SNSを利用してEメール通知することがよくあると思うのですが、メール内に記載されているUnsubscribeを間違えてクリックしてしまい、メール通知が無効化…

NATインスタンスをAmazonLinux2で構築する

これはなに? AmazonLinuxのサポートが2020年12月31日で終了するため、これまでAmazonLinuxでAWSより提供されていたNATインスタンスをAmazonLinux2で構築してみました。 Amazon Linux AMI のサポート期間終了に関する更新情報 | Amazon Web Services ブログ

Databricks上のテーブル列にコメントを入れる

これはなに? Databricks上に作成したテーブルの列にコメントを入れる方法を調べたので備忘録。