1 Minute Tips

IDEA Note

  • AWS Direct Connect

    AWS Direct Connect

    転送コストを部署毎に分配する際の対応

    AWS Direct Connect経由のデータ転送のコストを各部門にどのように分配すべきか

    1. 仮想インターフェースを構成
    2. 仮想インターフェースの所有者を部門のAWSアカウント番号に設定する

     

  • Amazon Elastic Block Store(EBS)

    Amazon Elastic Block Store(EBS)

    Amazon Elastic Block Store(EBS)の特徴

    • EBSはマルチAZでのレプリケーションが利用できる
    • EBSは他のリージョンにおいてレプリケーションを実施できる
    • ハードウェア専有インスタンスは同じAWSアカウントのインスタンスとHWを共有する可能性がある

    暗号化について

    • 全てのAmazon EBSボリュームタイプでサポートされる
    • スナップショットは自動的に暗号化される

    暗号化する方法

    1. ボリュームのスナップショットを作成
    2. スナップショットの暗号化されたコピーを作成
    3. 新しいスナップショットから新しいボリュームを作成
    4. ボリュームを交換

    EBS-backedとinstance-store backedの最大の違い

    EBS backedインスタンスは停止および再起動が可能

    プロビジョンドIOPS

    その月にIOPSおよびストレージを実際に使用したかどうかに関係なく課金される

    https://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/EBSVolumeTypes.html

    スナップショット

    スナップショット作成時はデータ整合性を保つため静⽌点を設ける必要がある。

    EBSは増加バックアップでS3に保存する事が可能。

    無料でのモニタリングデータ取得について

    基本（Basic）は５分間のデータを無料で自動に取得可能

     

  • route 53

    route 53

    特徴

    • エイリアスレコードは、1つのDNS名を別のAmazon Route 53 DNS名にマッピングすることができる
    • Amazon Route 53 CNAMEレコードは、任意場所にホストされている任意のDNSレコードを指すことができる。

    他のVPCでプライベートホストゾーンを利用

    プライベートホストゾーンに関連付けさせる必要がある。

     

  • SQS

    SQS

    適切なソリューション（例）

    • 実行または分散および監査可能なビジネスの統制
    • 分散したセンサー群から、１時間に何千ものデータポイントを暗号化して収集

    など

  • EC2

    EC2

    インスタンスの停止中に可能な作業

    • セキュリティグループの変更
    • 詳細な監視の無効

    インスタンスファミリー

    インスタンスファミリー特徴
    M5汎用
    T2汎用
    C5コンピューティング最適化
    H1ストレージ最適化
    D2ストレージ最適化
    R4メモリ最適化
    X1メモリ最適化
    F1FPGA
    G3GPC

    負荷分散

    ELBのクロスゾーン負荷分散を利用する事で、ロードバランサに登録されている複数のAZのAmazon EC2インスタンス間で、受信トラフィックを均等に分散させる事が可能。

    EC2インスタンスでNATゲートウェイを作成

    作成したEC2インスタンスを作成し、インターネットに接続できない場合は、NATゲートウェイサブネットに、インターネットゲートウェイへのルートがない可能性があるので、確認する。

    EC2インスタンスのメタデータから利用できるカテゴリ

    • インスタンスID
    • Auto Scaling起動設定

    CPUキャパシティが十分に活用されてないインスタンスを抽出するツール

    • AWS trusted  advisor
    • Amazon CloudWatch

    EC2インスタンスのフル管理者権限を保持するサービス

    • Amazon Elastic Map Reduce
    • AWS Elastic Beanstalk

     

  • CloudWatch

    CloudWatch

    CloudWatch Logsエージェントがデフォルトでデータを送信する頻度

    5秒ごと

    CloudWatchの無料枠で受け取る事ができるメトリックアップデートの頻度

    5分

    受信および集計するデータの最小時間間隔

    1分

  • VPC

    VPC

    特徴

    • 各サブネットには、単一のAZにマッピング
    • デフォルトでは、プライベートかパブリックか関わらず、全てのサブネット間でルート可能

    VPC

    単一のVPCにパブリックサブネットが1つデフォルトで設定される

    VPCを設置しないでEC2インスタンスを立ち上げる場合、サブネットの設定が必須になる

    VPCエンドポイント

    グローバルIPを持つAWSサービスに対して、VPCの内部から直接接続するための出口。

    • 無料
    • AWSが管理

     

    Gateway型

    Gateway型はサブネットに特殊なルーティングを設定し、VPC内部から直接外のサービスと通信する

    VPC peeringは一部のリージョン間に限られている。

     

    プライベートリンク型

    サブネットにエンドポイント用のプライベートIPを設定して使用する

    エンドポイントポリシーによりアクセス制御を実施

    VPC Flow log

    accepted/rejectedされたトラフィックを保持する

    10分間で収集・プロセッシング・保存する

    サブネット枯渇時の対応

    VPC内の全てのIPアドレスを利用している場合は、VPCのCIDRブロックを変更して、新しいサブネットに十分な空きスペースを作成する事で枯渇時対処することも可能。

    専用テナンシーについて

    セキュリティを高める際に利用する

    具体的には、アプリケーションが動いているインスタンスは他のAWS顧客とハードウェアを共有してはいけない場合、以下の構成を検討する事ができる

    1. デフォルトてナンシーでVPCを作成
    2. 専用てナンシーでアプリケーションが動くインスタンスを起動。
    3. 共有テナンシーで、その他インスタンス（セキュリティ要件がないインスタンス）を起動する

    単一のWebサーバを公開するのに必要な作業

    • インターネットゲートウェイの設定を行う
    • ウェブサーバにElastic IPを設定し関連付ける
    • Webサーバのセキュリティグループを変更。Webトラフィックに使用されているポート上のWebトラフィックを許可する
    • サブネットのルーティングテーブルを設定

     

     

  • RDS

    RDS

    高負荷対策

    Amazon RDS MySQL DBインスタンスで現在、利用可能な最大のインスタンスタイプで実行されているとする。

    DBインスタンスはCPUおよびネットワーク帯域幅に近いキャパシティで動作。

    今後、トラフィックが増加することを予想される。より多くのトラフィックを捌くアプローチ

     

    • 別アベイラビリティゾーンにMasterデータベースの読み取りレプリカを作成。レプリカに読み取り専用呼び出しを送信するよう、アプリケーションを設定する。
    • Amazon ElasticCacheクラスタを作成。頻繁にアクセスされるデータやクエリをキャッシュから取得するようにアプリケーションを設定する

    障害時の挙動

    プライマリDBインスタンスに障害が発生した場合、RDSマルチアベイラビリティゾーンのデプロイは、

    標準名レコード(CNAME)がプライマリからスタンバイに変更される。

    ElasticCacheについて

    セッション情報をRDSではなく、ElasticCacheを利用する際の挙動

    • セッションデータの読み取り・書き込みパフォーマンスを向上
    • データベースインスタンスの負荷を軽減

    RDSへの接続できない場合確認すべきポイント

    • VPCセキュリティグループの不正なルール
    • ローカルファイヤウォールのAmazon RDSエンドポイントポートの制限を確認する
    • Amazon RDSインスタンスが実行状態であるか

    ページの読み取り時間の改善

    • セッション情報と頻繁なDBクエリのために、アプリケーションにAmazon ElasticCacheを追加
    • Amazon CloudFront dynamic content supportを設定。サイトの再利用可能なコンテンツのキャッシングを有効にする
    • Amazon RDSデータベースをhigh memory extra largeインスタンスタイプへ変更

     

    ストレージ容量の拡大させる

    追加ストレージを割り当てる事が可能。割り当て中にパフォーマンスが低下する期間を計画する。

     

  • dynamodbへバルクインポート

    dynamodbへバルクインポート

    はじめに

    dynamodbへまとめてデータを入れたい時がある。バルクインポートの手順を紹介

    jsonファイル

    {
    "tsukada-tw": [
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"1"},
              "Tip": {"S":"【保存版】プレゼンで使えるグラフや図を表現する英語フレーズ集 https://www.rarejob.com/englishlab/column/20190426/"
              }
            }
          }
      },
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"2"},
              "Tip": {"S":"海外でも母の日は祝うもの？ Mother’s Dayの時期や英語のお祝いメッセージを紹介！ https://www.rarejob.com/englishlab/column/20190425/"
              }
            }
          }
      },
      {
          "PutRequest": {
            "Item": {
              "ID": {"N":"3"},
              "Tip": {"S":"英文メールの結びにはなんて書けばいい？ビジネスからカジュアルまで「よろしく」や「敬具」に代わる結びの英語表現まとめ https://www.rarejob.com/englishlab/column/20190424/"
              }
            }
          }
      }
    ]
}

    読み込み

    aws dynamodb batch-write-item --request-items file://bulk.json

    結果

     

  • 「徹底攻略AWS認定ソリューションアーキテクトアソシエイト教科書」を読んだ

    「徹底攻略AWS認定ソリューションアーキテクトアソシエイト教科書」を読んだ

    はじめに

    資格こそ取っていないが、AWSは常に触っている。試験を受ける受けないは別にして、知識をあるレベルまで引き上げる上で、試験用の本から多くのことを学ぶことができる。

    今回は「徹底攻略AWS認定ソリューションアーキテクトアソシエイト教科書」を通じて得られた知識についてまとめた。

    各種機能について、注意したい特徴

    Amazon Glacier

    mode解説
    迅速オンデマンドと呼ばれる。
    成功する保証がない
    標準3~5時間でアーカイブから取り出しが可能

    EFS

    共有ストレージ。ユーザー側でスナップショット取得不可

    インスタンスストア

    エフェメラルディスクとも呼ばれる。EC2停止時にはデータは消失。再起動では消失しない

    Aurora

    データは３箇所のAZに格納される

    1つのAZにつき2箇所のディスクに書き込まれる => 合計6箇所に保存される

    S3

    結果整合性モデルが一部採用されている

    メソッド種別特徴
    PUT新規追加書き込み後の、読み込み整合性
    PUT更新結果整合性
    DELETE削除結果整合性

    SQS

    TOPIC

    メッセージの送信、受信のアクセスポイント

    TOPICを作成し、購読者が購読することで通知の送受信が可能になる

    購読者（サブスクライバ）

    TOPICから発信されるメッセージの購読者を設定

    • HTTP/HTTPS
    • Email
    • SQL
    • Lambda

    の利用が可能

    PUBLISH

    作成したTOPICに対してアプリケーションからメッセージを送信。

    送信されたメッセージはSQSから購読者（サブスクライバ）へ配信される

    Cloud Formation

    定義ファイルをテンプレートと呼ぶ

    テンプレートから呼び出されるサービスの集合を、スタックと呼ばれる

    高可用アーキテクチャ

    可用性の定義

    システムが正常に継続して動作し続ける能力

    指標はパーセンテージ。一般的に稼働率と呼ばれる。

    オートスケーリング

    スケールアウト

    スケーリングプラン設定値が閾値超え

    ↓

    EC2インスタンスを増加（Auto Scalingグループの設定値に従う）

     

    スケールイン

    EC2インスタンス数が最も多いAZからランダムに選ばれる

    もしインスタンス数が同じ場合は、最も古いEC2インスタンスがあるAZが選ばれる

    それも同じ場合は、次に課金が発生する時間が最も短いEC2インスタンスが選ばれる

    それも同じ場合は、この中からランダムに選ばれる

    クールダウン

    Auto Scalingが連続で実施されないようにする待ち時間

    データベース内のレコードが破損した場合の対処

    アプリケーションのバグや、オペレーションミスの場合、RDSの自動再起動を行う。

    フェールオーバでの復旧が不可能な場合、バックアップからのリストアをする必要がある。

     

    リストアについて

    1. 障害が発生したRDSのエンドポイントを控える
    2. 別のエンドポイント名に変更する
    3. バックアップから変更前のエンドポイント名でリストアする
    4. 旧RDSを削除する

    EBSのバックアップとリストア

    標準のスナップショット機能を用いる

    EC2のバックアップとリストア

    EBS もしくは AMIで取得したバックアップを用いて、リストアを行う

    AWSにおけるパフォーマンス

    プレイスメントグループについて

    単一のAZ内のEC2インスタンスを論理的にグルーピング

    複数のコンピューティングリソースを１つとして機能させる。

    クラスターコンピューティングに最適

    EBS最適化インスタンス

    最適化なしの場合

    EC2 ⇔ EBS間

    EC2 ⇔ その他が同一のネットワークになる

    最適化ありの場合

    EC2 ⇔ EBS間が専用のネットワークになる

    DynamoDB Accelerator (DAX)

    DynamoDBのインメモリキャッシュ。

    のように使う

    セキュリティ

    WebIDフェデレーション

    Google/FacebookなどのOpenID Connectをサポート

    CloudHSM、KMS

    どちらもユーザがAWSで鍵を管理・保管するサービス

    データの暗号化

    クライアントサイド(CSE)

    • S3に保存時
    • EBS ファイルシステムの暗号化

    サーバサイド暗号化(SSE)

    • S3に保管時、自動で暗号化

    Deploy/Provisioning

    AWSのサービスでは、Deployができるサービス、Provisioningができるサービス、その両方が可能なサービスが存在する。まとめると以下の通り。

    ServiceDeployProvisioning
    OpsWork○○
    Elastic Beanstalk○○
    Code Deploy○×
    Cloud Formation×○

    請求

    Consolidated Billing（一括請求）で統合可能

    メンバーのアカウント（Linked Account）の請求を、

    マスターのアカウント（Payer Account）に統合できる