カテゴリー: aws

はじめに

dynamodbへまとめてデータを入れたい時がある。バルクインポートの手順を紹介

jsonファイル

{
    "tsukada-tw": [
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"1"},
              "Tip": {"S":"【保存版】プレゼンで使えるグラフや図を表現する英語フレーズ集 https://www.rarejob.com/englishlab/column/20190426/"
              }
            }
          }
      },
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"2"},
              "Tip": {"S":"海外でも母の日は祝うもの？ Mother’s Dayの時期や英語のお祝いメッセージを紹介！ https://www.rarejob.com/englishlab/column/20190425/"
              }
            }
          }
      },
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"3"},
              "Tip": {"S":"英文メールの結びにはなんて書けばいい？ビジネスからカジュアルまで「よろしく」や「敬具」に代わる結びの英語表現まとめ https://www.rarejob.com/englishlab/column/20190424/"
              }
            }
          }
      }
    ]
}

読み込み

aws dynamodb batch-write-item --request-items file://bulk.json

結果

はじめに

資格こそ取っていないが、AWSは常に触っている。試験を受ける受けないは別にして、知識をあるレベルまで引き上げる上で、試験用の本から多くのことを学ぶことができる。

今回は「徹底攻略AWS認定ソリューションアーキテクトアソシエイト教科書」を通じて得られた知識についてまとめた。

各種機能について、注意したい特徴

Amazon Glacier

EFS

共有ストレージ。ユーザー側でスナップショット取得不可

インスタンスストア

エフェメラルディスクとも呼ばれる。EC2停止時にはデータは消失。再起動では消失しない

Aurora

データは３箇所のAZに格納される

1つのAZにつき2箇所のディスクに書き込まれる => 合計6箇所に保存される

S3

結果整合性モデルが一部採用されている

SQS

TOPIC

メッセージの送信、受信のアクセスポイント

TOPICを作成し、購読者が購読することで通知の送受信が可能になる

購読者（サブスクライバ）

TOPICから発信されるメッセージの購読者を設定

• HTTP/HTTPS
• Email
• SQL
• Lambda

の利用が可能

PUBLISH

作成したTOPICに対してアプリケーションからメッセージを送信。

送信されたメッセージはSQSから購読者（サブスクライバ）へ配信される

Cloud Formation

定義ファイルをテンプレートと呼ぶ

テンプレートから呼び出されるサービスの集合を、スタックと呼ばれる

高可用アーキテクチャ

可用性の定義

システムが正常に継続して動作し続ける能力

指標はパーセンテージ。一般的に稼働率と呼ばれる。

オートスケーリング

スケールアウト

スケーリングプラン設定値が閾値超え

↓

EC2インスタンスを増加（Auto Scalingグループの設定値に従う）

スケールイン

EC2インスタンス数が最も多いAZからランダムに選ばれる

もしインスタンス数が同じ場合は、最も古いEC2インスタンスがあるAZが選ばれる

それも同じ場合は、次に課金が発生する時間が最も短いEC2インスタンスが選ばれる

それも同じ場合は、この中からランダムに選ばれる

クールダウン

Auto Scalingが連続で実施されないようにする待ち時間

データベース内のレコードが破損した場合の対処

アプリケーションのバグや、オペレーションミスの場合、RDSの自動再起動を行う。

フェールオーバでの復旧が不可能な場合、バックアップからのリストアをする必要がある。

リストアについて

1. 障害が発生したRDSのエンドポイントを控える
2. 別のエンドポイント名に変更する
3. バックアップから変更前のエンドポイント名でリストアする
4. 旧RDSを削除する

EBSのバックアップとリストア

標準のスナップショット機能を用いる

EC2のバックアップとリストア

EBS もしくは AMIで取得したバックアップを用いて、リストアを行う

AWSにおけるパフォーマンス

プレイスメントグループについて

単一のAZ内のEC2インスタンスを論理的にグルーピング

複数のコンピューティングリソースを１つとして機能させる。

クラスターコンピューティングに最適

EBS最適化インスタンス

最適化なしの場合

EC2 ⇔ EBS間

EC2 ⇔ その他が同一のネットワークになる

最適化ありの場合

EC2 ⇔ EBS間が専用のネットワークになる

DynamoDB Accelerator (DAX)

DynamoDBのインメモリキャッシュ。

のように使う

セキュリティ

WebIDフェデレーション

Google/FacebookなどのOpenID Connectをサポート

CloudHSM、KMS

どちらもユーザがAWSで鍵を管理・保管するサービス

データの暗号化

クライアントサイド(CSE)

• S3に保存時
• EBS ファイルシステムの暗号化

サーバサイド暗号化(SSE)

• S3に保管時、自動で暗号化

Deploy/Provisioning

AWSのサービスでは、Deployができるサービス、Provisioningができるサービス、その両方が可能なサービスが存在する。まとめると以下の通り。

請求

Consolidated Billing（一括請求）で統合可能

メンバーのアカウント（Linked Account）の請求を、

マスターのアカウント（Payer Account）に統合できる

はじめに

fargateでタスクを登録し、起動させた時エラーが発生。原因と対処をまとめる

An error occurs when a task is registered and started with fargate. Summarize causes and actions

原因

CannotStartContainerError: API error (500): failed to initialize logging driver: failed to create Cloudwatch log stream: ResourceNotFoundException: The specified log group does not exist. status code: 400,

CloudWatch のロググループが存在しない

CloudWatch log group does not exist

対処

CloudWatchにロググループを作成する

Create a log group in CloudWatch

その後、再度タスクを実行すれば問題は解消できる。

After that, the problem can be solved by executing the task again.

作業前

ディスクサイズを確認する

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1       20G   20G  291M  99% /

Elastic block storeで割り当てDISKを増やす

何ギガに増やしたいのかサイズを指定する

（増やす容量ではなく、現在のDISKと併せてトータルの容量にする）

ブロックデバイスの変更作業

ブロックデバイスの一覧を表示する

$ lsblk
NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
xvda    202:0    0  40G  0 disk 
└─xvda1 202:1    0  20G  0 part /

$ sudo growpart /dev/xvda 1
CHANGED: disk=/dev/xvda partition=1: start=4096 old: size=41938910,end=41943006 new: size=83881950,end=83886046

$ lsblk
NAME    MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
xvda    202:0    0  40G  0 disk 
└─xvda1 202:1    0  40G  0 part /

パーティションを拡張する

$ sudo xfs_growfs /dev/xvda1
meta-data=/dev/xvda1             isize=512    agcount=11, agsize=524159 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0 spinodes=0
data     =                       bsize=4096   blocks=5242363, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal               bsize=4096   blocks=2560, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0
data blocks changed from 5242363 to 10485243

$ df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/xvda1       40G   20G   21G  50% /

はじめに

RDSをaws cliで削除したいことがある。認証さえ登録されていれば1行でできる。

コマンド

普通にdatabaseが消えるので要注意。

aws rds delete-db-instance --db-instance-identifier [インスタンス名] --skip-final-snapshot

確認

作業前

作業後

はじめに

route 53の登録をコマンドで実行したい時がある。

コマンドをまとめる。

準備

jsonファイルを作成

{
 "Changes": [
 {
  "Action": "UPSERT",
  "ResourceRecordSet": {
   "Name": "server-original.stg.rds.sumito.jp",
   "TTL": 300,
   "Type": "CNAME",
   "ResourceRecords": [
   {
    "Value": "server-original-stg-rds.aaaddcda.ap-northeast-1.rds.amazonaws.com"
   }
   ]
   }
  }
  ]
}

aws route53コマンドで読み込ませる

#変数登録
DB_JSON=create_db.json
HOST_ZONE_ID=`aws --profile staging route53 list-hosted-zones | jq -r '.[][] | select (.Name == "stg.rds.sumito.jp.") | .Id'`

SDBM_ID=`aws --profile staging route53 change-resource-record-sets --hosted-zone-id ${HOST_ZONE_ID} --change-batch file://${DB_JSON} `

ステータス確認

echo $SDBM_ID | jq -r '.ChangeInfo.Status'
PENDING