この記事の目次
AWSとは
![](https://b-engineer-media-cms.s3.amazonaws.com/item/image/user/9e08934fd24485c7d9e691a312f16a4ef7ff96eb/35243f00-6773-4465-8ac2-7ac2bb3bf90c.jpg)
AWS Data Pipelineとは
![](https://b-engineer-media-cms.s3.amazonaws.com/item/image/user/5e9e289364bb3ddfa01b2e7a2998e19f5b1eaf36/065316f3-57ed-4e3d-9ee4-7d5f7ba7eedf.jpg)
特徴
AWS Data Pipelineを利用することにより、耐障害性を持ち、繰り返しが可能で、高可用性を備えている、データ処理ワークロードの作成が簡単に出来るようになります。 リソースの可用性を保証、タスク間の依存関係を管理、作業ごとの一時的なミスによる再試行およびタイムアウト、失敗を通知するシステムの構築などについての心配をする必要がありません。 そしてAWS Data Pipelineを使うと、オンプレミスのデータ格納庫へと保管されるデータの移動および処理も出来るようになります。AWS Data Pipelineの利点
![](https://b-engineer-media-cms.s3.amazonaws.com/item/image/user/356a192b7913b04c54574d18c28d46e6395428ab/7e58a2de-f3e8-4962-96d8-0f498667fd8e.jpg)
高い信頼性
AWS Data Pipelineでは、ユーザーがアクティビティ実行する際の耐障害性を高めるため、高可用性が備えられた分散型インフラストラクチャ上へと構築されています。 アクティビティロジックもしくはデータソースで障害が生じた場合、AWS Data Pipelineは自動でアクティビティの再試行をします。失敗が何度も続く場合は、AWS Data Pipelineは失敗通知をAmazon SNS(Amazon Simple Notification Service)を経由して送信します。 正常な実行、計画をしたアクティビティの遅れ、もしくは失敗に対し、通知がされるよう設定することが出来るのです。使いやすさ
ドラッグアンドドロップにより操作することの出来るコンソールを使用しているので、簡単に素早くパイプラインの作成が出来ます。 よく使われる前提条件がサービスへと組み込まれているので、前提条件を使うためのロジックを追加する必要がありません。 例えばAmazon S3バケットの名称と確認するファイルのパスを打ち込むだけで、Amazon S3ファイルが有るか否かを確認でき、後の作業はAWS Data Pipelineが行ってくれます。 簡単にパイプラインを作成出来るツールだけでなく、AWS Data Pipelineにはパイプラインのテンプレートがあります。これらのテンプレートを使うことで、より複雑なパイプラインも簡単に作ることが出来ます。柔軟性
スケジュールの設定、依存関係を追跡、エラーの処理などといった、AWS Data Pipelineの様々な機能を利用することが出来ます。 AWSから提供されている前提条件やアクティビティを使用したり、オリジナルのカスタム前提条件やアクティビティの記述をしたりすることも出来ます。 要するに、AWS Data Pipelineの設定をして、Amazon EMRジョブ実行、データベースに対してのSQL クエリを直接実行、もしくはユーザーのデータセンターで稼働しているカスタムアプリケーションの実行などといったアクションが可能です。 これによって、アプリケーションロジックをスケジュール設定して行うための手間をかけなくても、高性能なカスタムパイプラインを作り、データの処理や分析が出来るようになります。スケーラブル
AWS Data Pipelineを利用すれば、1つのマシンへの送信も、多くのマシンへの送信も、シリアル送信も、パラレル送信も、どの場合でも作業は簡単です。 AWS Data Pipelineの柔軟性に富んだ設計によって、何千万ものファイル処理を、1つのファイルを処理するのと同じく簡単に行うことが出来ます。透過的
ビジネスロジックの実行をする、コンピューティングリソースをコントロールする権利はユーザーの方にあるので、ロジック拡張やデバッグも難しくありません。 さらに、実行ログの全体が自動でAmazon S3へと送信されるので、パイプラインで起こった事について永続的かつ細かなレコードを取得することが出来ます。AWS Data Pipelineの料金
![](https://b-engineer-media-cms.s3.amazonaws.com/item/image/user/9e08934fd24485c7d9e691a312f16a4ef7ff96eb/8a230797-e70f-4825-ac51-37cb3fd4ac70.jpg)
AWS Data PipelineとAmazon Simple Workflow Serviceの差
![](https://b-engineer-media-cms.s3.amazonaws.com/item/image/user/356a192b7913b04c54574d18c28d46e6395428ab/272a2336-5b05-41db-9794-42346b1c6582.jpg)
シンプル
Amazon Simple Workflow Serviceの特徴として、シンプルであるという点が挙げられます。 プロセスオートメーションの基本であるインフラストラクチャの管理を開発者がしなくてもよくなるので、独自のアプリケーションの開発へと集中することが出来ます。スケーラブル
Amazon Simple Workflow Serviceでは、アプリケーションを使用する状況に応じて、処理する規模の拡大および縮小が出来ます。 クラウドワークフローがアプリケーションに追加されたり、ワークフローが複雑化していったとしても、ワークフローサービスを手作業で管理する必要が無いのです。AWS Data Pipelineを活用しよう!
![](https://b-engineer-media-cms.s3.amazonaws.com/item/image/user/f5ef944a50653ad198392450d8cdba1dea4885cc/87a2e1f3-0fdc-4110-8476-dbf1920c6d4e.png)
この記事の監修者・著者
![株式会社オープンアップITエンジニア](https://tenshoku-careerchange.jp/wp-content/uploads/2023/07/fzxADbr-_400x400-1-150x150.jpg)
-
未経験からITエンジニアへのキャリアチェンジを支援するサイト「キャリアチェンジアカデミー」を運営。これまで4500人以上のITエンジニアを未経験から育成・排出してきました。
・AWS、salesforce、LPICの合計認定資格取得件数:2100以上(2023年6月時点)
・AWS Japan Certification Award 2020 ライジングスター of the Year 受賞
最新の投稿
- 2024年3月26日キャリア・転職保安職(自衛官・警察・消防官など)に向いている人の性格・特徴ランキング【現役保安職(自衛官・警察・消防官など)36人が回答】
- 2024年3月26日キャリア・転職保安職(自衛官・警察・消防官など)に必要なスキルランキング&スキルアップの方法とは?【現役保安職(自衛官・警察・消防官など)36人が回答】
- 2024年3月26日キャリア・転職クリエイター職(ライター・デザイナー・編集)に向いている人の性格・特徴ランキング【現役クリエイター職(ライター・デザイナー・編集)64人が回答】
- 2024年3月26日キャリア・転職クリエイター職(ライター・デザイナー・編集)に必要なスキルランキング&スキルアップの方法とは?【現役クリエイター職(ライター・デザイナー・編集)64人が回答】