AWSのElastic Inferenceとは？特徴や料金などをご紹介

AWSのElastic Inferenceとは

Amazon Web Services（AWS）のElastic Inferenceは、深層学習（ディープラーニング）の推論をサポートするサービスです。

推論コンピューティングの規模に応じて、適切な大きさのアクセラレーターを提供します。これにより、推論のパフォーマンスやコストを最適化します。

現時点では、利用可能なリージョンはバージニア州、オハイオ州、オレゴン州、アイルランド、ソウル、東京の6種類となっています。

AWSのElastic Inferenceの特徴

この項目では、AWSのElastic Inferenceの特徴についてご紹介します。

インスタンスやモデル、アクセラレーターの種類の豊富さから、幅広い規模の推論コンピューティングに対応できます。

特徴1：推論コストを最適化できる

AWSのElastic Inferenceは、推論コストを最適化できます。

従来では、GPUの設計が推論に特化されていない、モデルごとの需要の差に対応しきれないなどの要因で、費用対効果が低くなる場合があります。

Elastic Inferenceは、ニーズに合わせたインスタンスやモデル、アクセラレーターを選択できるようにすることで、この問題点を解消します。

特徴2：3種類のインスタンスと統合

AWSのElastic Inferenceは、SageMaker、Elastic Compute Cloud（EC2）、Elastic Container Service（ECS）の3種類のインスタンスと統合されています。

AWS上で推論コンピューティングを実行する時は、上記の3種類からいずれかを使用します。Elastic Inferenceはこの3種類すべてに対応しており、それぞれのインスタンスに適したアクセラレーターを提供できます。

特徴3：4種類のモデルに対応

AWSのElastic Inferenceは、TensorFlow、Apache MXNet、PyTorch、Open Neural Network Exchange（ONNX）の4種類の深層学習モデルに対応しています。

このうち、TensorFlow、MXNet、PyTorchの3種類はSageMaker、Deep Learning AMI、Deep Learning ContainersでAWS向けに最適化されているため、すぐに本番環境で使用できます。ONNXを使用する場合は、MXNetを経由する必要があります。

特徴4：6種類のアクセラレーター

AWSのElastic Inferenceには、6種類のアクセラレーターが用意されています。

スループット1～32FP、メモリ1～8GBまでのサイズが存在します。これらから最適なタイプを選択することで、費用対効果を高められます。

出典：Amazon Elastic Inference の料金
参照：https://aws.amazon.com/jp/machine-learning/elastic-inference/pricing/

特徴5：2種類の演算手法を選択できる

AWSのElastic Inferenceは、単精度（32TFLOPS）と混合精度（16TFLOPS）の2種類の演算手法を選択できます。

モデルに合わせて演算手法を使い分けられることで、推論のパフォーマンスを最適化できます。

両者を比較すると、単精度の方が数値範囲が広く、高い精度を持ちます。しかし、使用するモデルの規模に対して精度が高すぎると、かえってパフォーマンスが低下する可能性があります。そういった場合には混合精度を使用することで、パフォーマンスを高められます。

特徴6：EC2 Auto Scalingによるスケーリング

AWSのElastic Inferenceは、EC2 Auto Scalingによる自動スケーリング機能があります。

例えば、ワークロードの実行中にインスタンスの使用量が増加した場合、EC2 Auto ScalingによってEC2インスタンスが自動で追加されます。インスタンスが追加されると、それに合わせてアクセラレーターも自動でスケールアップします。

逆に、使用量が減少した場合はインスタンスを削除し、同時にアクセラレーターもスケールダウンします。

このように、需要に合わせて適切な量に随時調節することで、容量不足によるパフォーマンスの低下や、容量過剰によるコストの増加を防ぎます。

AWSのElastic Inferenceの開始方法

この項目では、AWSのElastic Inferenceの開始方法についてご紹介します。

一例として、EC2を使用した方法を説明します。

大まかには、セキュリティグループの設定→VPCエンドポイントの作成→IAMロールの作成→インスタンスの起動、の4ステップとなります。詳しい操作方法については、公式ドキュメントをご覧ください。

セキュリティグループの設定

最初に、セキュリティグループを設定します。このステップは、アクセラレーターへのトラフィックを許可するために実行します。

Virtual Private Cloud（VPC）のコンソールからセキュリティグループのページに入り、グループ名と説明、VPCのIDを入力して、グループを作成します。

その後、作成したグループを選択し、インバウンドルールおよびアウトバウンドルールでトラフィックを許可するルールを追加します。

セキュリティグループを作成してルールを追加・保存すれば、このステップは完了です。

VPCエンドポイントの作成

次に、VPCエンドポイントを作成します。このステップは、アクセラレーターとVPC内にあるインスタンスをプライベートに接続するために実行します。

VPCのコンソールからエンドポイントの作成画面に入り、「com.amazonaws.（リージョン名）.elastic-inference.runtime」という名前のサービスを選択します。

その後、サブネットやアベイラリティーゾーン（AZ）、プライベートDNS名などを設定して［エンドポイントの作成］をクリックすれば、エンドポイントが作成されます。

IAMロールの作成

次に、Identity and Access Management（IAM）でインスタンスロールを作成します。このステップは、アクセラレーターを使ってEC2インスタンスを起動できるようにするために実行します。

IAMのコンソールからポリシーの作成画面に入り、ドキュメントに添付されているポリシーを貼り付けます。その後、ポリシー名を入力して［ポリシーの作成］をクリックすれば、ポリシーが作成されます。

ポリシーを作成したらロールの作成画面に入り、使用するサービスにEC2、アクセス権限の画面で先ほど作成したポリシーを選択します。その次の画面でロール名を入力して［ロールの作成］をクリックすれば、ロールが作成されます。

EC2インスタンスの起動

最後に、EC2インスタンスを起動します。

EC2のコンソールから［インスタンスの起動］をクリックし、マシンイメージを選択します。マシンイメージはDeep Learning AMIの利用が推奨されています。

次の画面でインスタンスタイプを選択した後、詳細設定で先ほど作成したセキュリティグループ、VPCエンドポイント、IAMロールが設定されているかを確認します。違っていれば変更しておきましょう。

その後、［アクセラレーターの追加］をクリックし、タイプを選択してアクセラレーターを追加します。

インスタンスの構成を確認して［起動］をクリックすると、キーペアを要求されるので、これを作成します。キーペアを作成しないとアクセラレーターを接続できないので注意しましょう。

すべての設定を終えて［インスタンスの起動］をクリックすれば、インスタンスが起動します。アクセラレーターが正常に接続されているか確認しておきましょう。

AWSのElastic Inferenceの料金

AWSのElastic Inferenceの料金は、アクセラレーターの使用時間によって決定します。アクセラレーターのタイプによって料金は異なります。

例えば、東京リージョンでeia2.mediumタイプを使用した場合、1時間あたり0.205USDの料金が発生します。eia2.largeタイプであれば0.411USD、eia2.xlargeタイプであれば0.582USDとなります。

見積もりの際は、EC2を始めとした他のサービスの料金も加味しておきましょう。

出典：Amazon Elastic Inference の料金
参照：https://aws.amazon.com/jp/machine-learning/elastic-inference/pricing/

AWSのElastic Inferenceで深層学習の推論を効率化しよう

この記事では、AWSのElastic Inferenceについてご紹介しました。

深層学習の推論コンピューティングのタイプや規模に合わせて、インスタンスやモデル、アクセラレーターを提供し、最適なコストおよびパフォーマンスで推論を実行できます。

深層学習の推論コストを減らしたい、推論の効率を高めたいといった方は、検討してみましょう。