投稿者: sumito.tsukada

  • Amazon Redshiftワークロード管理(WLM)について

    Amazon Redshiftワークロード管理(WLM)を使用すると、

    ユーザーはワークロード内の優先順位を柔軟に管理することができる。

    これによって短時間で高速に実行されるクエリが、長時間実行されるクエリの背後にあるキューによって処理がつまることがなくなる。

    よって、ワークロード管理によって部門の違うワークロード処理を分割するという戦略を取ることができる。

    Amazon Redshift WLMについて

    内部システムキューやユーザーがアクセス可能なキューなど、さまざまなタイプのキューの構成パラメーターを定義するサービスクラスに従って、実行時にクエリキューを作成する。

    Amazon Redshift について注意すべきポイント

    レプリカを起動させることで、高パフォーマンスを実現することはできない。

    Redshiftのクエリのパフォーマンスを向上させる、または CPU、メモリ、I/O の過度の使用率に対応する場合、AWS マネジメントコンソールから Elastic リサイズを使用して、または ModifyCluster API を使用してデータウェアハウスクラスター内のノード数を増やすことになる。

    Amazon Redshift の機能の “同時実行スケーリング” は、数千の同時実行クエリに対応する場合でも一貫して高速のクエリパフォーマンスを提供する。

    この機能を使用すると、Amazon Redshift によって必要に応じて一時的な容量が自動的に追加され、大量の需要を処理することができるようになる。

  • ElastiCache を Redis / Memcached どちらを選ぶべきか

    キャッシュなのでどちらを選んでも一応動くことは動くのだが、それぞれのサービスの特化した機能について整理する。

    Amazon ElastiCache for Redis の特徴

    アルタイム処理に利用するのに最適なサービス。

    適切なユースケースとして適切なデータストレージを使用し、データアクセスパターンを考慮することで、パフォーマンスが大幅に向上するだけでなく、費用対効果の高いソリューションも提供することができる。

    リアルタイムデータの計算処理を改善するためには最適なソリューション。

    Amazon ElastiCache for Memcached の特徴

    データをミリ秒で検索できる、オープンソースの分散型メモリ内キー値ストア。

    セッションデータ管理など単純な処理を高速化する際は Memcachedの方が運用が容易であり望ましいユースケースになる。

  • AWS KMS と CloudHSM について整理する

    似たように感じるサービスでもあるため、整理する

    KMS

    暗号化キーを簡単に作成して管理し、幅広い AWS のサービスやアプリケーションでの使用を制御できるようになります。(中略)AWS KMS は AWS CloudTrail と統合されており、すべてのキーの使用ログを表示できるため、規制およびコンプライアンスの要求に応えるために役立ちます。

    https://aws.amazon.com/jp/kms/

    CloudHSM

    クラウドベースのハードウェアセキュリティモジュール (HSM) です。これにより、AWS クラウドで暗号化キーを簡単に生成して使用できるようになります。

    https://aws.amazon.com/jp/cloudhsm/

    両サービスとも暗号化キーの生成できるようだ。

    ユースケースに分けて整理する。

    KMS のユースケース

    サーバにアクセスする際の共通鍵の管理など

    CloudHSM のユースケース

    データの暗号化に使用されるSSLキーの安全性を確保する際に使う

    CloudHSMを使用し、アプリケーションサーバーログがサーバーサイド暗号化(SSE)を使用してS3バケットに保持する仕組み作る。

    CloudHSMは、アプリケーションログが永続的かつ安全に保存されるようになる。

    正確に理解しておくべきポイント

    AWS KMSはAWS CloudHSMのようにSSL処理をオフロードするといった対応はできない

    実は公式にもこれら2つのサービスについての記載がある

    https://aws.amazon.com/jp/kms/faqs/

    black belt ではもう少しわかりやすく整理されている

    https://d1.awsstatic.com/webinars/jp/pdf/services/20190723_AWS-Blackbelt-CloudHSM.pdf

    AWS KMSはAWS CloudHSMのようにSSL処理をオフロードするといった対応はできないという点は大きな特徴になる。

    https://docs.aws.amazon.com/ja_jp/cloudhsm/latest/userguide/ssl-offload-overview.html

    サポートする暗号鍵も違う

    KMS の場合共通鍵のみだが、CloudHSM の場合、共通鍵と公開鍵がサポートされている。

    VPC内で稼働するサービス : VPC外からアクセスする場合には、CloudHSMがあるVPCにルーティングする必要があるようだ。

    CloudHSM はリージョン内で稼働するサービス になる。 異なるリージョンからはCloudHSMに アクセス出来ない。

  • Amazon Database Migration Service (DMS) を使った移行について

    概要

    AWS Database Migration Service を使用すると、データベースを短期間で安全に AWS に移行することができる。

    以下2点はとても大きな特徴だ

    • 移行中でもソースデータベースは完全に利用可能な状態に保たれる
    • データベースを利用するアプリケーションのダウンタイムを最小限に抑えられる

    DMS についてまとめた。

    DMS を使った Database Migration をする際の流れ

    1. ソースデータベースからターゲットデータベースにデータを割り当てる。
    2. 移行するタスクを実行するのに十分なストレージと処理能力を持つレプリケーションインスタンスを作成する

    AWS DMSタスクは、すべての処理が行われる場所になる。ここで

    • ログ記録要件
    • 制御テーブルデータ
    • エラー処理

    など、移行と特別な処理に使用するテーブルとスキーマを指定することができる。

    タスクを設定方法について

    移行タスクを作成する前に、DMSコンソールで以下3つを作成する。

    • ソースエンドポイント
    • ターゲットエンドポイント
    • レプリケーションインスタンス


    移行タスクを調整するために多くのタスク設定を指定することが可能だ。

    AWS マネジメントコンソール、 AWS CLI、または AWS DMS API を使用して設定する。

    これらの設定には、以下の項目を変更することが可能

    • 利用するテーブル構成
    • レプリケーションプロセス
    • 移行エラーの処理方法
    • エラーのログ記録
    • および制御テーブル情報を指定

    移行のタイプは “migrate existing data and replicate ongoing changes (初期転送後、差分転送開始)”を指定すると、タスクを作成した後、直ちに実行できる。

    この点は Classmethod のブログが非常にわかりやすい。

    https://dev.classmethod.jp/articles/lets-try-aws-database-migration-service-dms/

    必要なメタデータ定義を含むターゲットテーブルが自動的に作成されてロードされるため、継続的なレプリケーションを指定できる。

    ただし、以下の仕様を理解する必要がある。

    • デフォルトではタスクを作成するとすぐに、AWS DMS によりタスクが開始される。
      ただし、タスクの開始を延期することが可能。
    • ・AWS DMS コンソール、AWS CLI、または AWS DMS API を使用して、タスクのモニタリング、停止、再開を行うことができる。 
  • Amazon Rekognition Video について

    あまり馴染みのないサービスの一つ Amazon Rekognition Video について調べた。

    Amazon Rekognition Video は ライブビデオストリーミング をリアルタイムで解析して、顔を検出し、判別することができる。

    ユースケース

    • Amazon Kinesis Video Streams のストリーミングデータの処理
      Rekognition Video に入力し、最大数千万もの顔データと照らし合わせて、超低レイテンシーでの顔認識を行うことができる。
    • バッチ処理
      Amazon Rekognition Video では Amazon S3 に保存した録画データを解析することもできる。

    アクセス方法


    Amazon Rekognition には、Amazon Rekognition API、AWS マネジメントコンソール、および AWS コマンドラインインターフェイス (CLI) を使用してアクセスすることが可能。

    コンソール、API、CLI では、Rekognition API を使用して、ラベル検出、顔分析、顔照合、顔検索を行える。

    利用方法

    AWS Lambda には Rekognition 用の設計図が用意されている。

    それを使うことで s3 や DynamoDB といった AWS データストアでのイベントに基づいて画像分析をすることができる。

    Amazon Rekognition Videoは、Amazon Kinesis Video Streamsを使用してビデオストリームを受信および処理する。

    分析結果の利用方法

    分析結果は、Amazon Rekognition VideoからKinesisデータストリームに出力され、クライアントアプリケーションによって読み取られる。

    Amazon Rekognition Videoは、ストリーミングビデオの分析を開始および管理するために使用できるストリームプロセッサ(CreateStreamProcessor)を提供する。 

    分析結果はKinesis Data Streams Consumerに読み取られる。(Kinesis Data Streams Analyticsではない)

    また、本題とは異なるが、以下のサービスについて補足

    Amazon Kinesis

    リアルタイムのストリーミングデータを簡単に収集、処理、分析できる。

    コスト効率よくストリーミングデータを処理するための重要な機能を提供。

    設定としては、Kinesis Agent を設定してデータを収集し、

    Amazon Kinesis Data Firehoseを使用してエンドツーエンドのデータ配信ストリームを作成する。

    その上で、

    Amazon Kinesis Data Analytics で SQL クエリを使用してリアルタイム分析を実施することができる。

    Amazon Kinesis Data Streams

    Amazon Kinesis Data Streams によって処理されたレコードはダッシュボードに送信されて、さまざまなAWSサービスへのデータ送信に使用できる。

    分析するアクションとして、アプリケーション側にAmazon Kinesis Client Library(KCL)ワーカーを組み込んで行動分析を実施することができる。

    また、Amazon Kinesis Data Streamsアプリケーションは、Amazon Kinesisストリームからデータをデータレコードとして読み取る。

    これらのアプリケーションはAmazon Kinesis Client Library(KCL)を使用することでAmazon EC2インスタンスで実行するデータ分析アプリケーションを作成することができる。

    Amazon Kinesis Data Analytics

    Amazon Kinesis Data Analytics は、ストリーミングデータの分析に利用するサービス。Amazon Kinesis Data Analytics を利用すると、ストリーミングアプリケーションを構築し、管理し、AWS のサービスと統合する作業がシンプルになる。

    Amazon Kinesis Data Analyticsを利用して、ストリーミングアプリケーションを構築し、管理し、AWS のサービスと統合する作業が実施できる。

    SQL クエリを使用してリアルタイム分析を実施することができる。

  • s3のファイルのバージョニングを有効化した際の挙動

    s3 のバージョン管理を有効した場合の振る舞いについて整理する。

    そもそもバージョニングとは、同じバケット内でオブジェクトの複数のバージョンを保持する手段。

    バージョニングを使用して、Amazon S3 バケットに格納されたあらゆるオブジェクトのあらゆるバージョンを、格納、取得、復元することができるようになる。

    バージョニングを使用すれば、アプリケーション障害からも、簡単に復旧でき流。

    S3バージョン管理を有効にすると、既存のファイルはすべて、バージョンIDがNULLになる。

    バージョン管理後に追加されると、そのファイルの バージョンIDは ランダム値が割り振られる。

    公式ドキュメントは以下の通り

    https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/userguide/Versioning.html

  • s3内の特定ファイルを特定の国に対して利用できないようにする際に考えること

    以下の2つの要件を満たしたい時がある

    • 特定の国に対して利用できないようにしたい。
    • コンテンツを世界中のユーザーに低レイテンシーで配信したい。

    CloudFront ウェブディストリビューションを活用する。

    https://docs.aws.amazon.com/ja_jp/AmazonCloudFront/latest/DeveloperGuide/DownloadDistS3AndCustomOrigins.html

    CloudFront ウェブディストリビューションを使うことで配信しているコンテンツに対し特定地域のユーザーによるアクセスを回避することができる。地域制限を使用するには、次の 2 つの方法が考えられる。

    ・CloudFront の地理制限機能の使用
    エッジロケーションによる地理的制限を有効化。

    ディストリビューションに関連するすべてのファイルへのアクセスを制限し、国レベルでアクセスを制限する場合は、この方法を使用する。 

    これをすると、S3 の公開しているバケットの中のファイル全てに制限をかけることができる。特定のファイルにのみ制限をかけることはできない。

    ・サードパーティの位置情報サービスの使用

    上記 CloudFront の地理制限機能を使って要件を満たすことができない場合は、サードパーティのツールを探すことになる。

    なお、Lambda@エッジを利用した制限アルゴリズムを連携するといった機能は現状存在しない。

  • VPC内インスタンスからインターネットに対して特定ドメイン以外のアウトバウンド接続を拒否する際に考えること

    ネットワークACLはURLに基​​づいてリクエストをフィルター処理できない。

    プロキシサーバーを利用して制御することで回避が可能。

    プロキシサーバーはクライアントからの要求をフィルターし、製品の更新に関連する要求のみを許可するため、製品の更新以外のすべての要求のフィルターすることができる。

    プロキシサーバーとは、内部ネットワークのセキュリティを損なわずにネットワークの外部と接続できるようにする、LAN 上のコンピューターを指す。

    プロキシサーバーは内部コンピューターのアイデンティティを保護するために一般的に使用される。

    プロキシサーバーは、内部ユーザーおよびサーバーからの要求の仲介役として機能して、多くの場合はコンテンツをキャッシュして後続の要求を高速化する。

    AWSではVPNまたはAWS Direct Connect接続を使用して既存の企業プロキシサーバーインフラストラクチャを活用したり、内部ELBを備えたSquidプロキシサーバーなどのソフトウェアを使用してAWSでフォワードプロキシファームを構築したりすることが一般的なユースケースになる。

  • 1歳児とバギーラン(ベビーカーラン)を楽しむ

    1歳児とバギーラン(ベビーカーラン)を楽しむ

    独身の時や、結婚当初のまだ子供がいない時期であれば比較的走る時間を確保することはできたが、子供が生まれると走る時間を確保がとにかく難しくなる。

    自分の時間も大事だし、子供との時間も大事。

    どのように両立しようか考えたところ、バギーラン(ベビーカーラン)という結論に辿り着いた。

    バギーラン(ベビーカーラン)とは

    昔ハワイに旅行に行った時、ワイキキビーチをベビーカーを押しながら走るランナーを見た。それも1組、2組ではなく、結構いた。帰国後調べてみたらバギーランという名前が付けられて定着している事を知った。なんでも大会まであるそう。

    日本でやっている人いるの?

    結論から言うとほとんどいない。自分は1年近くやっているが未だ同じようにベビーカーを押して走っている人にすれ違ったことがない。

    自分なりに考えてみると、安全上の理由と、他の人からの目線、必要な情報がインターネットにほとんど公開されていない。

    日本でバギーラン(ベビーカーラン)をやる

    まずはバギーを買う

    バギーに乗せるのは他でもない最愛の我が子である。そのため、安全は絶対だ。

    私は AirGuggy COCO というバギーを愛用しており、普通のベビーカーを持っていない。

    これでバギーランをする際のメリットとして以下があげられる。

    • 子供のベルト(ハーネス)がしっかりしていて、落車する危険性が低いと言う点。
    • 安定感のある3輪タイヤ。このタイヤが多少の段差を吸収してくれるという点。
    • ブレーキがついているという点。

    安全性に加え、大容量の収容スペースもあるので着替えなどもいれることができる。

    持ち物

    • 自分の飲み物
    • 子供用の飲み物、お菓子
    • サイフ
    • 着替え
    • オムツなど

    この程度。途中公園で遊んだりすることもあるので着替え用の Tシャツは多めに持つことが多い。

    子供用のお菓子はあくまでも子供がお腹が空いた際の緊急用として。

    どこを走るか

    絶対に確保したいのが子供の安全性である。そのため公道、歩道で子供を乗せて走るのは絶対に避けたい。

    安全性と利便性を考慮し、たどり着いたのが荒川河川敷だった。

    荒川河川敷でバギーランをする理由として、サイクリング用に舗装された見晴らしの良い道路があるという点がある。東武スカイツリーライン、小菅駅から徒歩1〜2分で河川敷にでることができる。

    海まで走ることもできるが、海まで走ろうとすると比較的上り降りの段差が多く発生する。段差が多いとその分バギーをブレーキかけたりする必要があるのであまりおすすめしない。

    埼玉(川口)方面に走るメリット

    • 比較的段差が少ない。ほとんどないと言っても良い。
    • 1〜2km 間隔で日除けがある。

    赤丸の部分が橋があるポイント。

    日差しが強くて休みたい場合、通り雨に遭った際も休むことができる。

    この場所が非常に頻繁にあるので心強いポイントだ。

    どのペースで走るか。

    一人で走る場合とは違い、子供を押して走るので、ただでさえスピードは落ちるということもあるが、

    そこに安全性を考慮するとなると、いつでも止まれる速さで走る必要がある。

    早歩きと、ランニングの中間的な速さ。1km あたり6分~ 7分程度が子供と会話しながら走るのにちょうど良い。

    どこまで走るか。

    案1:小菅から都市農業公園まで走る

    約7km の距離。

    都市農業公園はサイクリストにも人気のある公園で、軽食も取ることができるし、テラスで休憩することもできる。

    メニューは以下の通り。プチパンは子供でも食べれる。

    なお、都市農業公園から西新井駅までバスも出ている。

    案2:小菅から川口付近まで走る

    約9km 程度。

    9km まで走り、その後2km ほど公道を歩くと戸田の、七福の湯という温泉がある。

    http://www.shichifukunoyu.jp/toda/

    ここをゴールに設定するというのもいいコースになる。

    3歳から有料だが、3歳未満だと無料で入ることができる。

    なお、七福の湯付近で巡回パスが通っており、戸田公園駅まで 100円でバスに乗ることができる。

    バスの時刻表は以下の通り。30分に一度はしっている。待ち時間が発生するようであれば、近くのララガーデンで時間を調整することもできる。

    また、戸田公園駅では新幹線も見れるので子供も楽しめる。

    以上、子供と楽しむバギーラン(ベビーカーラン)まとめ。

    新しいコースを開拓したらアップデートしていこうと思う。

  • マンガでわかる!マッキンゼー式ロジカルシンキングを読んだ

    マンガでわかる!マッキンゼー式ロジカルシンキングを読んだ

    新しく知識を得る際、活字の本とマンガの本があれば迷わずマンガの本から手に取る。この本も例外なくそのアプローチで手にした本。

    プロジェクトリーダーをしていて様々なステークホルダーの方と合意形成を取らなければらない機会があるが、その合意形成に非常に時間がかかっていて、物事が進まないということが何度もあった。

    同僚からロジカルシンキングを学んだほうがいいかもしれないというアドバイスをもらい、本を探していたところ本書に行き届いた。

    ロジカルシンキング(論理的思考)とは

    論理的に物事を考え、深め、既成概念にとらわれず最も適切な方法を考え、具体的に実行する方法、姿勢

    きちんと深掘りをし、より良い案を出すこと。

    ロジカルシンキングを鍛える

    ロジカルシンキングの鍛え方として A4メモ書きについて紹介されている。

    頭に思い浮かぶままにメモをするだけ

    やり方は以下の通り

    1. A4 用紙を横置きにする
    2. 左上にタイトル
    3. 右上に日付 (2021-07-13)
    4. 本文は 4~6 行
    5. 各 20~30字書く

    A4 メモ1ページを 1分で書き、毎日10 ~20 ページ書くのがポイント

    みんなどんな感じで書いているのか Google 画像検索すると色々出てくる。

    https://www.google.com/search?q=a4+%E3%83%A1%E3%83%A2+0%E7%A7%92%E6%80%9D%E8%80%83&sxsrf=ALeKk03pdC18TaAorMFd6xbuDt6DqGeShA:1626230580932&source=lnms&tbm=isch&sa=X&ved=2ahUKEwiImuWAxeHxAhXJZt4KHVKrDXcQ_AUoAXoECAEQAw&biw=1920&bih=969

    以下のようなメリットがある

    • 頭が整理される
    • モヤモヤがなくなる
    • 前向きになる
    • 優先順位が明確になる
    • 言いたいことが自然に浮かんでくるようになる
    • 説明がすらすらできるようになり、納得してもらうことが増える

    A4メモがロジカルシンキングの力をつけるトレーニングになる。

    重要なポイントとして、1分で書くこと。一気に素早く書くと頭の中身が全部書き出される。

    あれこれ悩まず、言葉も選ばずモヤモヤしたものを書き出すのでも良い。

    1件につき1枚に書く。別のタイトルを思いついたら別の紙に書き出す。

    紙はA4用紙である必要がある。

    タイトルは疑問系にすると良い

    • インタビュー前に仮説を持つには?
    • 報告書の作成方法は?

    など。なお、抽象的に書くのではなく、具体的に書く。

    同じタイトルでも気が済むまで何度も書く。

    保管したメモはすぐに見直さず、3ヶ月に1度見直す程度が良い。

    なお、ゼロ秒思考については Youtube大学でも解説されている。

    フレームワーク

    理由は必ず三つ挙げ、それを説明する。

    検討そのものが深くなり、論理的思考が徹底されている。

    理由を三つ挙げることによる習慣化するメリットは以下の3つ

    • 論理的思考が自然に身につく
    • 自分の意見に対して自信を持てる
    • 論理的思考をしている、安心して任せられると周りから思われる

    よく使われるフレームワーク

    • 2 x 2マトリックス
      縦軸・横軸で、整理する上で最も重要だと考える2つの項目を選ぶ

      縦軸と、横軸に何を入れるかがポイントとなる。
      軸の選び方が重要になるが、これは練習するしかないと書いてある。
      整理する上で最も重要だと考える2つの項目をまず考え、いったん記入してから有効性を確認しバランスを取る。
      https://imasarakikenai.com/time-management-matrix/

    ロジカルシンキングで思考を加速する

    大トロの部分

    ものごとを整理し、問題点を正確にとらえ、最も効果的な対応策を考える

    1. 論理的にものごとを考え、深める
      現状分析を行い、会社の強み弱みを抑え、わかりやすく整理。
      その条件下でどうすれば目的を達成できるか徹底的に考えを深めていく。
    2. 既成概念に囚われず最も適切な方法を考える
      1から10まで全部疑う。
      ものごとを普段から疑い、本当はどうあるべきか、本質はどこにあるかを考え続ける。
      ゼロベースで考えて初めて本来の姿、今の自転で最適な方法にたどり着く。
    3. 具体的に実行する方法、姿勢
      クライアント企業の経営幹部を支援して実行。成果を上げるところまでやる。

    ロジックツリーで問題解決を導く

    「現象・問題」、「本質的な原因」、「根本的な解決策」、「具体的施策」を繋げていくもの

    問題把握と、その解決を図る際に使われる。

    いかに頭を混乱させずに、整理しながら検討を進めることができる。

    考えが深くなり、洞察力も生まれ、問題の本質や解決策の要点がはっきりと見えてくる。

    https://www.google.com/search?q=%E3%83%AD%E3%82%B8%E3%83%83%E3%82%AF%E3%83%84%E3%83%AA%E3%83%BC&tbm=isch&ved=2ahUKEwjm4bbkyOHxAhV4zYsBHWUtDeoQ2-cCegQIABAA&oq=%E3%83%AD%E3%82%B8%E3%83%83%E3%82%AF%E3%83%84%E3%83%AA%E3%83%BC&gs_lcp=CgNpbWcQAzICCAAyAggAMgIIADICCAAyAggAMgIIADICCAAyAggAMgIIADICCAA6BAgAEAQ6BwgAELEDEAQ6CAgAELEDELEDULfBLFjYzCxgutIsaABwAHgAgAGqAYgBrwySAQQyLjExmAEAoAEBqgELZ3dzLXdpei1pbWfAAQE&sclient=img&ei=K1PuYKagC_iar7wP5dq00A4&bih=969&biw=1920

    まとめ

    頭が真っ白になる現象は、ロジカル・シンキングが十分にできておらず考えが浅いために起きる。

    ロジカルシンキングは十分にトレーニングすることで強めていくことができる。

    ロジカルシンキングはA4メモでトレーニングする事ができる。