AWS JupyterHubとは？AWSでJupyterHubを構築する方法について解説

JupyterHubとは？

JupyterHubとは、Jupyterノートブックを複数のユーザーで使用するための環境です。

Jupyterノートブックは、オープンソースの対話型Webアプリケーションで、Pythonなどのプログラムを記述・実行できます。ほかにも、データ分析やドキュメントの作成・共有もできるため、様々な場面で活用できるツールです。

Jupyterノートブックはシングルユーザーで使用しますが、JupyterHubを構築することでJupyterノートブックをグループ管理できるようになり、複数のユーザーで使用することができるようになります。

AWSにはAmazon EMRというコンポーネントが提供されており、その中にJupyterHubクラスターがあります。JupyterHubクラスターを作成すると、Dockerコンテナが作成されて、Jupyterノートブックに必要なコンポーネントがDockerコンテナ内で実行されます。

AWSでJupyterHubを構築する方法

AWSでJupyterHubを構築するには、Amazon EMRを使用します。Amazon EMRを使用してJupyterHubクラスターを作成すると、AWS上にDockerコンテナが作成され、このDockerコンテナ内でJupyterHubとSparkmagicのコンポーネントが実行されます。

Sparkmagicは、分散処理フレームワークのApache SparkとJupyterノートブックを連携させるためのカーネルのライブラリです。

デフォルトでインストールされるSparkmagicだけでなく、カーネルとライブラリは後から手動で追加することもできます。

JupyterHubクラスターの作成

AWSでJupyterHubクラスターを作成するには、AWS マネジメントコンソールを使用します。

JupyterHubクラスターは以下の手順で作成します。

①AWS マネジメントコンソールにサインインします。

②Amazon EMR コンソールを開きます。

③「クラスターの作成」>「詳細オプションに移動」を選択します。

④「ソフトウェア設定」で「JupyterHub」を指定して「次へ」を選択します。

⑤「ハードウェア構成」で「次へ」を選択します。

⑥「クラスターの全般設定」で「次へ」を選択します。

⑦「セキュリティオプション」でキーペアを指定して「クラスターの作成」を選択します。

AWS CLIを使用してクラスターを作成する

AWS マネジメントコンソールだけでなく、AWS CLIのcreate-clusterコマンドを使用してクラスターを作成することもできます。

クラスターを作成するには以下のコマンドを実行します。

aws emr create-cluster --name=[クラスター名] --release-label emr-5.32.0 --applications Name=JupyterHub --log-uri s3://MyBucket/MyJupyterClusterLogs --use-default-roles --instance-type m5.xlarge --instance-count 2 --ec2-attributes KeyName=[キーペア]

JupyterHubクラスターへの接続

JupyterHub の管理者やJupyterノートブックのユーザーは、JupyterHubクラスターのマスターノードにSSH接続します。

JupyterHubとJupyter Web UIにアクセスするために、デフォルトでは9443番ポートを利用しますが、設定ファイル（jupyterhub_config.py）を編集して別のポートを指定することもできます。

なお、マスターノードに接続するためには、JupyterHubクラスターが実行中である必要があります。

SSHアクセスの許可

JupyterHubクラスターに接続できるようにするには、クラスターに対してSSHアクセスを許可する必要があります。

クラスターにSSH接続を許可するには以下の手順で設定します。

①AWS マネジメントコンソールにサインインします。

②Amazon EMR コンソールを開きます。

③対象のクラスターを選択します。

④「セキュリティとアクセス」で「マスター」＞「セキュリティグループ」を選択します。

⑤リストから「ElasticMapReduce-master」を選択します。

⑥「受信」>「編集」>「ルールの追加」

⑦SSHアクセスのルールを入力して「保存」を選択します。

JupyterHubの設定

JupyterHubやJupyterノートブックの設定をカスタマイズするには、JupyterHubクラスターのマスターノードの設定ファイルを編集します。

「jupyterhub_config.py」ファイルを編集することで、JupyterHubの設定を変更できます。

「jupyter_notebook_config.py」ファイルを編集することで、Jupyterノートブックの設定を変更できます。

「jupyter-sparkmagic-conf」ファイルを編集することで、Sparkmagicの設定を変更できます。

設定ファイルを編集したら、jupyterhubコンテナを再起動することで設定が適用されます。

JupyterHubでPAM 認証の使用

JupyterHubでユーザーを認証させるには、JupyterHubのPluggable Authentication Module (PAM) を使用します。

PAM認証を使用するには、2ステップの作業が必要となります。

①JupyterHubコンテナにオペレーティングシステムのユーザーを追加する

②オペレーティングシステムのユーザーをJupyterHubユーザーとして追加する

それぞれのステップの詳細を説明します。

JupyterHubコンテナにオペレーティングシステムのユーザーを追加する

jupyterhubコンテナにオペレーティングシステムのユーザーを追加するには以下のコマンドを実行します。

sudo docker exec jupyterhub useradd -m -s /bin/bash -N diego
sudo docker exec jupyterhub bash -c "echo diego:diego | chpasswd"

オペレーティングシステムのユーザーをJupyterHubユーザーとして追加する

オペレーティングシステムのユーザーをJupyterHubユーザーとして追加するには、jupyterHubの管理者パネルを使用するか、REST APIを使用します。

jupyterHubの管理者パネルを使用する場合は、以下の手順で操作します。

①SSHでマスターノードに接続して、管理者権限を持つIDでサインインします。

②「コントロールパネル」>「管理者」を選択します。

③「ユーザーの追加」を選択します。

④「ユーザーの追加」または「管理者」>「管理者の追加」を選択します。

REST APIを使用する場合は、以下の手順で操作します。

①SSHでマスターノードに接続します。

②以下のコマンドを実行します。

curl -XPOST -H "Authorization: token AdminToken" "https:$([ホスト名]):9443/hub/api/users/[ユーザー名]

AWSのJupyterHubを使用して効率的な開発をしよう！

jupyterHubをAWSに構築するということは、AWS上で開発～運用にかかわるツールやリソースがまとまることになり、効率的に開発、運用、管理ができるようになります。

設定することは多いように見えますが、オンプレミス環境でjupyterHubを構築するよりも簡単で、Dockerコンテナで提供されているため、平準化された環境を提供することができます。

一度環境を構築してしまえばあとは管理するだけなので、ぜひともAWSのjupyterHubを活用して効率的な開発作業を目指しましょう。