投稿者: sumito.tsukada

はじめに

dynamodbへまとめてデータを入れたい時がある。バルクインポートの手順を紹介

jsonファイル

{
    "tsukada-tw": [
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"1"},
              "Tip": {"S":"【保存版】プレゼンで使えるグラフや図を表現する英語フレーズ集 https://www.rarejob.com/englishlab/column/20190426/"
              }
            }
          }
      },
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"2"},
              "Tip": {"S":"海外でも母の日は祝うもの？ Mother’s Dayの時期や英語のお祝いメッセージを紹介！ https://www.rarejob.com/englishlab/column/20190425/"
              }
            }
          }
      },
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"3"},
              "Tip": {"S":"英文メールの結びにはなんて書けばいい？ビジネスからカジュアルまで「よろしく」や「敬具」に代わる結びの英語表現まとめ https://www.rarejob.com/englishlab/column/20190424/"
              }
            }
          }
      }
    ]
}

読み込み

aws dynamodb batch-write-item --request-items file://bulk.json

結果

 

はじめに

資格こそ取っていないが、AWSは常に触っている。試験を受ける受けないは別にして、知識をあるレベルまで引き上げる上で、試験用の本から多くのことを学ぶことができる。

今回は「徹底攻略AWS認定ソリューションアーキテクトアソシエイト教科書」を通じて得られた知識についてまとめた。

各種機能について、注意したい特徴

Amazon Glacier

mode	解説
迅速	オンデマンドと呼ばれる。 成功する保証がない
標準	3~5時間でアーカイブから取り出しが可能

EFS

共有ストレージ。ユーザー側でスナップショット取得不可

インスタンスストア

エフェメラルディスクとも呼ばれる。EC2停止時にはデータは消失。再起動では消失しない

Aurora

データは３箇所のAZに格納される

1つのAZにつき2箇所のディスクに書き込まれる => 合計6箇所に保存される

S3

結果整合性モデルが一部採用されている

メソッド	種別	特徴
PUT	新規追加	書き込み後の、読み込み整合性
PUT	更新	結果整合性
DELETE	削除	結果整合性

SQS

TOPIC

メッセージの送信、受信のアクセスポイント

TOPICを作成し、購読者が購読することで通知の送受信が可能になる

購読者（サブスクライバ）

TOPICから発信されるメッセージの購読者を設定

• HTTP/HTTPS
• Email
• SQL
• Lambda

の利用が可能

PUBLISH

作成したTOPICに対してアプリケーションからメッセージを送信。

送信されたメッセージはSQSから購読者（サブスクライバ）へ配信される

Cloud Formation

定義ファイルをテンプレートと呼ぶ

テンプレートから呼び出されるサービスの集合を、スタックと呼ばれる

高可用アーキテクチャ

可用性の定義

システムが正常に継続して動作し続ける能力

指標はパーセンテージ。一般的に稼働率と呼ばれる。

オートスケーリング

スケールアウト

スケーリングプラン設定値が閾値超え

↓

EC2インスタンスを増加（Auto Scalingグループの設定値に従う）

 

スケールイン

EC2インスタンス数が最も多いAZからランダムに選ばれる

もしインスタンス数が同じ場合は、最も古いEC2インスタンスがあるAZが選ばれる

それも同じ場合は、次に課金が発生する時間が最も短いEC2インスタンスが選ばれる

それも同じ場合は、この中からランダムに選ばれる

クールダウン

Auto Scalingが連続で実施されないようにする待ち時間

データベース内のレコードが破損した場合の対処

アプリケーションのバグや、オペレーションミスの場合、RDSの自動再起動を行う。

フェールオーバでの復旧が不可能な場合、バックアップからのリストアをする必要がある。

 

リストアについて

1. 障害が発生したRDSのエンドポイントを控える
2. 別のエンドポイント名に変更する
3. バックアップから変更前のエンドポイント名でリストアする
4. 旧RDSを削除する

EBSのバックアップとリストア

標準のスナップショット機能を用いる

EC2のバックアップとリストア

EBS もしくは AMIで取得したバックアップを用いて、リストアを行う

AWSにおけるパフォーマンス

プレイスメントグループについて

単一のAZ内のEC2インスタンスを論理的にグルーピング

複数のコンピューティングリソースを１つとして機能させる。

クラスターコンピューティングに最適

EBS最適化インスタンス

最適化なしの場合

EC2 ⇔ EBS間

EC2 ⇔ その他が同一のネットワークになる

最適化ありの場合

EC2 ⇔ EBS間が専用のネットワークになる

DynamoDB Accelerator (DAX)

DynamoDBのインメモリキャッシュ。

のように使う

セキュリティ

WebIDフェデレーション

Google/FacebookなどのOpenID Connectをサポート

CloudHSM、KMS

どちらもユーザがAWSで鍵を管理・保管するサービス

データの暗号化

クライアントサイド(CSE)

• S3に保存時
• EBS ファイルシステムの暗号化

サーバサイド暗号化(SSE)

• S3に保管時、自動で暗号化

Deploy/Provisioning

AWSのサービスでは、Deployができるサービス、Provisioningができるサービス、その両方が可能なサービスが存在する。まとめると以下の通り。

Service	Deploy	Provisioning
OpsWork	○	○
Elastic Beanstalk	○	○
Code Deploy	○	×
Cloud Formation	×	○

請求

Consolidated Billing（一括請求）で統合可能

メンバーのアカウント（Linked Account）の請求を、

マスターのアカウント（Payer Account）に統合できる