これはなに？ AWS利用料を確認するLINE Botを作ってみたので機能紹介と簡単な構築手順＆コード公開。 個人の検証環境としてAWSを利用していると結構課金額がいってしまうので、こまめに確認できるようによく利用するツールのLINEを使ってAWS利用料を確認でき…

これはなに？ 2020年11月にRedshiftのPythonドライバがOSSになったので使ってみた。 Redshiftから取得したデータをPandasのDataframeを使って分析することが多いので、取得してきたデータをDFに格納までしてみました。 GitHub - aws/amazon-redshift-python-…

これはなに？ AWS S3 Selectを使って、CSVやParquetファイルの中身を確認するスクリプトを作ったので備忘録。 CLIをそのまま使うとパラメータの指定が大変なので、スクリプト化しました。利用しているAWSコマンドは、”select-object-content”。 select-objec…

これはなに？ Splunkに、AWS のコストと使用状況レポート (AWS CUR)の情報を取り込んでコスト分析できる環境を構築します。

これはなに？ TeradataからRedshiftへの移行検証をしている際にSCTを利用したのですが、いくつかハマったところがあったのでその対象方法についての備忘録です。 検証の際に利用したAWS公式手順は以下です。 オンプレミスのデータウェアハウスから Amazon Re…

これはなに？ Athenaを利用して別AWSアカウントにあるGlueデータカタログの参照を実施してみます。 通常別AWSアカウントのデータカタログはAthenaで利用できないのですが、2019年にリリースされたAthenaでの外部メタストアの参照機能を利用することで実現で…

これはなに？ AWS SNSを使ったEmail通知のUnsubscribeリンクを無効にする手順。 AWSのシステム通知をAWS SNSを利用してEメール通知することがよくあると思うのですが、メール内に記載されているUnsubscribeを間違えてクリックしてしまい、メール通知が無効化…

これはなに？ AmazonLinuxのサポートが2020年12月31日で終了するため、これまでAmazonLinuxでAWSより提供されていたNATインスタンスをAmazonLinux2で構築してみました。 Amazon Linux AMI のサポート期間終了に関する更新情報 | Amazon Web Services ブログ

これはなに？ Databricks上に作成したテーブルの列にコメントを入れる方法を調べたので備忘録。

これはなに？ PowerBIデスクトップから、Databricks上のテーブルに接続し可視化する手順を記載します。 流れとしては、Databricks上でアクセス情報及びクレデンシャルを取得し、その情報を基にPowerBIデスクトップから接続、可視化を実施します。