雲のメモ帳

猫とクラウドと旅行が好きなインフラエンジニアです。 日々の調べたことや興味が持ったことをこのブログにアウトプットします。

Azure

WEB上からDatabricks クラスターにシェルアクセスする

これはなに? WEB上からDatabricks クラスターにシェルアクセスためのTipsです。Databricksクラスターはマネージドに色々やってくれるので、あまり接続する機会はないです。ただ、不具合などのトラブルシューティングの際にシェルアクセスすると作業が捗るの…

Azure Databricksのpysparkでデータ加工する際によく使うコード集

これはなに? 私がDatabricksのpysparkを使ったデータ加工する際によく使っているコードをメモとして残します。 Databricks特有の部分と一般的なpysparkの部分を分けて書いています。

Azure File Storageの使用量を監視する

これはなに? Azure Fileストレージの使用量監視、アラートの設定をやってみます。 監視はAzure モニターを利用します。

DatabricksへのアクセスをIP制限する

これはなに? DatabricksでIP制限するための手順メモ。 Azureを利用している場合は、P1ライセンスを持っていればAzureADの認証部分でも実施可能ですが、今回はDatabricksの機能を使ってIP制限します。

PowerBIデスクトップからDatabricksに接続して分析する

これはなに? PowerBIデスクトップから、Databricks上のテーブルに接続し可視化する手順を記載します。 流れとしては、Databricks上でアクセス情報及びクレデンシャルを取得し、その情報を基にPowerBIデスクトップから接続、可視化を実施します。

データ分析でDatabricksを利用してみた所感

これはなに? Databricksをデータ分析で利用してみたので、備忘録のため所感をまとめてみました。 利用したのはAzure Databricksですが、AWSなど他のプラットフォーム上のDatabricksでも機能的に大きな違いはないと思います。

Databricks(Spark)でXMLファイルを読み込む

これはなに? DatabricksでXMLをソースとしてデータ分析するために、DatabricksでXMLを読み込むための手順。 Sparkのライブラリインストールから、XMLファイルをSparkのデータフレームに格納するところまで。

【AZ-103 試験対策】IDの管理

Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…

【AZ-103 試験対策】仮想ネットワークの設定と管理

Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…

【AZ-103 試験対策】仮想マシン(VM)の展開と管理

Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…

AzureADを利用して、AWSコンソールへシングルサインオン(SSO)する

Azure ADを使ってAWS コンソールへSSOする設定を実施してみました。 調べてみると思ったよりも記事がなかったり、Azureのコンソールがアップデートされていたりで、意外と詰まりました。 今回利用しているAzureADのライセンスは、「free」です。 やっている…

仮想マシン削除後に、同時に消えないリソースの一括削除

Azureでは、仮想マシンを削除した時に、仮想ディスクやNICなどが同時に削除されません。 そのため、思わぬ課金になることがあるので、Azureを利用する際には、注意が必要です。 ※AWSに慣れていて、リソースが残っていることに気が付かず課金されていました、…

Log Analytics Agentを利用し、仮想マシンのログデータを収集する

Azureを利用した仮想マシンのログ管理について、検証してみましたので、その検証内容について記載します。 内容はLog Analytics ワークスペースの作成から、仮想マシンのログが収集されているところを確認するところまで。 仮想マシンのログ収集という意味で…

仮想マシンに任意のPrivate IPアドレスを割り当てる

仮想マシンに任意のプライベートIPを割り当てる手順がAWSとAzureで異なっていたので設定方法のメモ。 Azure: AzurePortalから仮想マシンを起動する場合、自動でプライベートIPが付与される。 (コマンドなら起動時に指定可能) AWS: AWS コンソール及びコマン…

【AZ-103 試験対策】ストレージの作成と管理

Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…

【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する

Azure 資格試験 Exam AZ-103: Microsoft Azure Administrator - Learn | Microsoft Docs 取得のためのメモ [AZ-103 Link] 1. 【AZ-103 試験対策】Azure サブスクリプションおよびリソースを管理する - 雲のメモ帳 2. 【AZ-103 試験対策】ストレージの作成と…

AWSエンジニアがAzureを勉強するために使った資料まとめ

AWSエンジニアがAzureを1から勉強したので、参考ドキュメントとAzureサービス概要を書きました。Azureサービス概要にはAWSサービスに置き換えるとどのサービスが当てはまるかについても言及しています。 目次 1. 参考ドキュメント 2. Azureサービス概要 ネッ…

Azureアカウント登録後に実施すること

これまではAWSだけ触ってきましたが、今後Azureに関わる機会が増えそうなのでAzureのアカウント登録をしました。 AWS同様Azureでも、アカウント作成後に必ずやっておいた方がよいことがあったので、まとめます。 AWSコンソールにに慣れているとAzurePortalと…