雲のメモ帳

猫とクラウドと旅行が好きなインフラエンジニアです。 日々の調べたことや興味が持ったことをこのブログにアウトプットします。

WEB上からDatabricks クラスターにシェルアクセスする

これはなに?

WEB上からDatabricks クラスターにシェルアクセスためのTipsです。Databricksクラスターはマネージドに色々やってくれるので、あまり接続する機会はないです。ただ、不具合などのトラブルシューティングの際にシェルアクセスすると作業が捗るのでDatabricks利用するならコンソール接続の方法は知っておいて損はないはず。

環境

  • Azure Databricks
  • Databricks Runtime 7.0以上

作業

1. Webターミナルを有効化

設定は簡単で、AdminコンソールからWeb ターミナルを有効化します。デフォルトでは無効となっています。
作業は、Admin権限を持つユーザーで実施してください。

①「Admin Console - Workspace Settings 」を開き、「Web Terminal」を有効化します

f:id:ykoomaru:20210627203912p:plain

2. Webコンソール接続

①「Compute - <接続したいクラスター>」を選択し、「Apps」をクリックします
f:id:ykoomaru:20210627204845p:plain

②「Launch Web Terminal」をクリックします
f:id:ykoomaru:20210627204757p:plain

③ 以下のような画面が表示されれば接続環境です。
f:id:ykoomaru:20210627205051p:plain

3. コマンド試し打ち

①OS情報 f:id:ykoomaru:20210627205623p:plain

②CPU f:id:ykoomaru:20210627210551p:plain

③ディスク f:id:ykoomaru:20210627210354p:plain

④TOP f:id:ykoomaru:20210627210318p:plain

当たり前ですが、普通にUbuntu利用するのと変わりません。

その他

ちなみにWebコンソールの設定を有効化すると全てのクラスターにコンソール接続できるようになるため、セキュリティ上クラスターにアクセスさせたくない場合はクラスターの環境変数に DISABLE_WEB_TERMINAL=true 設定することで個別にログインを禁止できます。

f:id:ykoomaru:20210627210946p:plain

https://docs.microsoft.com/ja-jp/azure/databricks/administration-guide/clusters/web-terminal#manage-the-web-terminal-per-cluster

参考資料