「AWS Inferentia」とは？その概要や利点について詳しく解説します！

「AWS Inferentia」とは？

「AWS Inferentia」とは、AWS社が開発した高パフォーマンスの機械学習推論チップです。「推論」を意味する英単語「Inferential」に由来します。

この「AWS Inferentia」について、概要や特徴について解説していきます。

「AWS Inferentia」の特徴について

「AWS Inferentia」の特徴としては、機械学習時の計算処理において、高性能の「Inferentia」の機能を提供する点です。

「AWS Inferentia」では、この「Inferentia」の計算処理に掛かる総コストを抑制し、開発者がビジネス的なアプリケーションの中に「機械学習」の機能を簡単に組み込むことが可能となっています。

関連する「AWS Neuron ソフトウェア開発キット（SDK）」は、「AWS Inferentia」のワークロードのパフォーマンスを最適化するのに有効な「コンパイラ」、「プロファイリングツール」、「ランタイム」から構成されています。

「AWS Inferentia」の環境においては、機械学習に用いるためのソフトウェアライブラリやフレームワークである「TensorFlow」等を利用して作成、トレーニングされた複雑なニューラルネットモデルを構築することも可能となっています。

「AWS Inferentia」が登場した背景について

「AWS Inferentia」が登場した背景については、機械学習時に掛かるコストの課題がありました。

機械学習（ML）のビジネス利用では、一般的に「データ準備」、「機械学習」、「推論」の3つのフェーズに分けられます。

「機械学習」の環境については、高価なGPUを搭載した専用の「Amazon EC2インスタンス」が用いられることが多いですが、その場合の利用料金が課題となっていました。

例えば、機械学習に関するAWSサービスである「Amazon SageMaker」を使用した場合に、学習用インスタンスが高額となる点が課題でした。

Inferentiaの計算処理を高速化することで、コスト削減効果が見込めます。特に、「Neuron Cores」と呼ばれる「AWS Inferentia」のプロセッシングコアによって、高速化が実現されます。

「AWS Inferentia」で課題を解決するための対策

「AWS Inferentia」で課題解決の対策としては、機械学習終了時に学習用インスタンスを自動停止させ、余分な課金発生の抑制です。

また「Managed Spot Training機能」を使用して、コストを抑えた機械学習の実現が可能です。

そして、この機械学習の成果として「Inferentiaモデル」とこれを利用するためのAPIが生成され、商用環境に組み込まれていきます。

一般的に、「Inferentia」の計算環境は、高価なGPU搭載インスタンスが必要な「機械学習」の計算環境よりも、コストは低くなります。

一方で、一時的で反復的に実施される「機械学習」環境と違い、常時起動状態にあることが前提となることが多いため、「Inferentia」の計算コストは時間と共に増加します。

これらの課題解決のために、AWSが高パフォーマンスの機械学習推論チップとして「AWS Inferentia」を開発しました。

「AWS Inferentia」の利点

「AWS Inferentia」の利点としては、「高性能」、「低レイテンシー」、「柔軟性」の3点が挙げられます。

AWSでは、「AWS Inferentia」のこれらの利点をベースとして、開発者による「深層学習」を普及させ、従量課金モデルを低コストで利用できることを目指しています。

それでは、これらの「利点」について詳しく解説していきます。

「AWS Inferentia」の利点1：「高性能」

「AWS Inferentia」の利点1として、「高性能」である点です。

「AWS Inferentia」の各チップは、「Amazon EC2 Inf1 インスタンス」ごとにMAX16個の 「Inferentiaチップ」を有しています。パフォーマンス面では、MAX128TOPS（1秒あたりの数兆回の操作）」の処理性能を発揮できます。

また「AWS Inferentia」は、小規模なバッチサイズの「スループット」を最適化するように設計されています。つまり、リアルタイムでの計算処理に向いており、音声生成や検索等の「レイテンシー要件」がシビアなアプリケーションの構築時に役に立ちます。

「AWS Inferentia」の利点2：「低レイテンシー」

「AWS Inferentia」の利点2としては、「低レイテンシー（遅延）」である点です。

「AWS Inferentia」は、大規模なモデルについては「オフチップメモリー（※CPUの外にあるメモリー）」で保存していますが、キャッシュで利用できるように大量の「オンチップメモリー（※CPUの中にあるメモリー）」を装備しています。

この装備によって、推論時の「レイテンシー（遅延）」の抑制に大きな効果があります。

その効果を発揮する理由としては、「Neuron Cores」と呼ばれている「AWS Inferentia」のプロセッシングCPUのコアは、オンチップメモリーにロードされて、オフチップメモリーでの帯域幅によって制限されないような機械学習モデルに対して高速アクセスが可能です。

「AWS Inferentia」の利点3：「柔軟性」

「AWS Inferentia」の利点3として、「柔軟性」がある点です。

具体的には、開発者は、一般的な機械学習フレームワーク（TensorFlow、PyTorch、MXNet 等）を利用してモデルをトレーニングできますし、「AWS Neuron SDK」を使用して「AWS Inferentia ベース」の「Inf1 インスタンス」にデプロイすることも可能です。

また「AWS Inferentia」は、「BF16」、「FP16」、「INT8 データ型」をサポートしています。「AWS Inferentia」は 32 ビットのトレーニング済みモデルを装備しており、「BFloat16」を利用して、「16bitモデル」の速度で自動実行できます。

「AWS Inferentia」を搭載した「Amazon EC2 Inf1 インスタンス」

「AWS Inferentia」のチップを搭載したインスタンスタイプが、「Amazon EC2 Inf1 インスタンス」です。

この「Amazon EC2 Inf1 インスタンス」は、「Amazon EC2 G4 インスタンス」よりも約30％近いスループットの実現、そしてMAXで45％となる推論あたりの低コストを実現しています。

AWSクラウド上では、機械学習の推論向けとしては、すべてのインスタンスの中でも一番低いコストとなっています。

「Amazon EC2 Inf1 インスタンス」の特徴

「Amazon EC2 Inf1 インスタンス」の特徴としては、機械学習の推論アプリケーションのために設計段階から見直して開発されました。

具体的には「Amazon EC2 Inf1 インスタンス」は、「AWS Inferentia」チップを16個まで搭載可能となっています。

さらに「Amazon EC2 Inf1 インスタンス」は、最新の第2世代である「Intel Xeonスケーラブルプロセッサ」と100Gbpsネットワーキングで構成されています。そのため、高いスループットの推論処理が可能となっています。

また「Amazon EC2 Inf1 インスタンス」を使用することで、自然言語処理、コンピュータビジョン、音声認識、検索レコメンデーション、パーソナライズ、不正検出等、大規模な機械学習推論アプリケーションを低コストで実現できます。

「AWS Inferentia」を搭載したインスタンスで機械学習を効率化しよう！

今回の記事では、「AWS Inferentia」の概要や利点、そしてこのチップを搭載した「Amazon EC2 Inf1 インスタンス」について解説してきました。

AWSクラウドならではのインスタンスの切り替えの容易さも活用しながら、コスト削減にも繋げるためにも、「AWS Inferentia」を搭載したインスタンス利用で機械学習を効率化してみてはいかがでしょうか？