aws batch | 1 Minute Tips

はじめに

定期的にコンテナを立ち上げて処理を流したい。

AWS batch + ECRというアプローチもあれば、fargate (EC2)でタスクスケジュールというアプローチもあります。

それぞれメリットデメリットをまとめました。

aws batch 実態はEC2であります。
CloudWatch Eventにより発火させることがユースケースとしては多いようです。

AWS batchがEC2を起動して、コンテナをとってきて、、、という作業になるため、
10分ほどかかる可能性があります。

EC2のスポットインスタンスを利用することもできます。
当然スポットインスタンスなので、突然処理が止まってしまう事もありますが、
AWS batchには最大5回のリトライ設定も可能。
jobのキューイング機能もあります。

diskが難しくなったらEBSを増やせばよいというのも強みの一つです。
ただし現状、EFSとかをattachできません。

retry処理はありません。
AWS Step Functionsと組み合わせることができ、そちらでリロードすることは可能です。

LambdaとLambdaを繋げるのに使われることが多いですが
step functions にfargateを使うことで、ジョブをコントロールすることが可能です。
fargateのdiskは10G それ以上増やすことは現状できません。

fargate/EC2 ログは標準出力になります。

AWS batchでもfargateでもdocker imageを作る必要があります。
その作成のベストプラクティスについて

CodePilpelineを使い以下のフローの中でコンテナのpushまで入れます。

* source code
* ビルド
* デプロイ
を一貫して行うことができます。

コンテナ作れる人に適切にroleを設定します
コンテナを作る環境を作り、そこでroleを付与します。

タスクのところで環境変数で持てるので、
そこで適当な文字を入れます(仮にAAAAA)。
Secret manager に適当な文字(仮にAAAAA)と、実際のパスワードを記載することでcredential の管理が可能です。

AWSについて体系的に学ぶことができるのでおすすめ。