カテゴリー: tech

Vimでよく使う便利なコマンド
検索文字をハイライトする
```
:set hlsearch!
```
オートインデント
```
:set autoindent
```
行番号を表示
```
:set nu
```
2021年7月14日

CloudWatch Logsで任意の文字列を監視してグラフ化する

概要

シェルでラップして見たい値をCloudWatchに飛ばして監視する。

今回はその仕組みを流用してサーバのプロセス数を監視監視した。

ディレクトリ作成

どこでも良い。今回はec2-userの下にcloudwatchディレクトリを作成する

mkdir /home/ec2-user/cloudwatch
cd /home/ec2-user/cloudwatch

シェル作成

vi CustomMetrix.sh

#!/bin/sh
CUR_DIR=/home/ec2-user/cloudwatch

export JAVA_HOME=/usr/lib/jvm/jre
export AWS_CLOUDWATCH_HOME=/opt/aws/apitools/mon
export EC2_REGION=ap-northeast-1
export AWS_CREDENTIAL_FILE=${CUR_DIR}/credential
InstanceId=`cat /var/tmp/aws-mon/instance-id`
# 設定ファイル
PROCESSCONFIG=${CUR_DIR}/process-conf.txt

# Process Check(設定したファイルから読み込む)
cat ${PROCESSCONFIG} | sed '/^$/d' | grep -v '^#.*' | while read PROCESS
do
COUNT=`ps aux | grep ${PROCESS} | grep -v grep | wc -l`
echo ${PROCESS}:${COUNT}
/opt/aws/bin/mon-put-data --metric-name ${PROCESS} --namespace "CustomMetrix" --dimensions "InstanceId=${InstanceId}" --value ${COUNT}
done

# LoadAverage(1分間の測定値を取得)
/opt/aws/bin/mon-put-data --metric-name "LoadAverage" --namespace "CustomMetrix" --dimensions "InstanceId=${InstanceId}" --value `cat /proc/loadavg | awk '{print $1;}'`

設定ファイル

process-conf.txt

httpd
crond

認証情報

credential

AWSAccessKeyId=aaaaaaaa
AWSSecretKey=ccccccccc

実行

sh ./CustomMetrix.sh

httpd:0
crond:1

結果

2021年7月14日

GitLab Connection to gitlab.com timed out. (connect timeout=5)’))
はじめに

GitLabに接続する際、
```
GitLab Connection to gitlab.com timed out. (connect timeout=5)'))
```
のように表示されることがある

原因

接続元が同しIPの接続元から、gitLabに複数回アクセスしたものの認証に失敗した。

しかし、なんどもログイン失敗したため、接続元のIPを自動でプラックリストに入ってしまったことが原因
2021年7月14日
Baseimage-dockerとは
docker は 1コンテナ 1プロセスで動かすという思想のもと作られているが、普通のコンテナ思想のもと作られたコンテナではない。

ssh でログインすることもできるし、 cron も動かすこともできる。

supervisorなどのプロセスコントロールシステムを使えば複数プロセス起動させることもできるので、この仕組みを使っているちょっと変わった 80M 程度の軽量なコンテナだ。

利用方法は以下の通り。まずは pull
```
docker pull phusion/baseimage:master
```
起動
```
docker run --rm -it phusion/baseimage:master
```
Baseimage-dockerのiniプログラムが実行される。

ctrl + cで抜ける事ができる

この ini 処理で supervisor が動き、そのプロセスの中で ssh を受け付けたり, cron を動かしたりしている。

Debug方法

Baseimage-dockerのiniプログラムを実行させず、直接bashを起動は以下の通り

直接コンテナに入ることができる。
```
docker run --rm -it phusion/baseimage:master bash -l
```
2021年7月14日
Alternative Directory LayoutでAnsible-playbookを作った際に考えたこと

はじめに

Ansibleで環境を作ろうと思えば、Ansibleのディレクトリ構成をどのような作り方もできてしまうが、Ansibleのbest practicesのAlternative Directory Layout (https://docs.ansible.com/ansible/2.5/user_guide/playbooks_best_practices.html#alternative-directory-layout )を元に構成を作ることにした

なぜAlternative Directory Layoutか

まず、Alternativeではない、正攻法(?)のDirectry Layoutは、以下のとおり

Directry Layout

これに対し、Alternative Directory Layout は Staging/Production が明確に分かれているのが特徴だ

Alternative Directory Layout

双方のメリット・デメリット

メリット

productionとstagingがディレクトリが分かれているため環境ごとに設定を変える事ができる。

Directry Layoutの場合、productionとstagingがディレクトリが分かれていない。

そのため、productionとstagingが全く同じ環境であればよいが、ランニングコストを下げるためにStagingのみ台数を減らしたり、パラメータを変更するようなことが柔軟にやりにくくなってしまう。現在のみならず、先々を考慮しこの構成を採用した

デメリット

ほとんどの設定ファイルがproductionとstagingで冗長してしまう

結論

上記デメリットがあるものの、Alternative Directory Layout を採用することによる享受できるメリットが判断し、このレイアウトを採用することにした。

2021年7月14日

error pulling image configuration: Get https://xxxx : net/http: TLS handshake timeout

はじめに

docker pullした際、以下のような TLS handshake timeout が発生

# docker pull koda/docker-knowledge
Using default tag: latest
Trying to pull repository docker.io/koda/docker-knowledge ... 
latest: Pulling from docker.io/koda/docker-knowledge
55cbf04beb70: Pulling fs layer 
1607093a898c: Pulling fs layer 
9a8ea045c926: Pulling fs layer 
1290813abd9d: Waiting 
8a6b982ad6d7: Waiting 
abb029e68402: Waiting 
8cd067dc06dc: Waiting 
1b9ce2097b98: Waiting 
d6db5874b692: Waiting 
25b4aa3d52c5: Waiting 
53ec227dabf0: Waiting 
242938ace8b4: Waiting 
85bc5aaf4ec5: Waiting 
fd5b749ebe99: Waiting 
6636846685ec: Waiting 
error pulling image configuration: Get https://production.cloudflare.docker.com/registry-v2/docker/registry/v2/blobs/sha256/9a/9ae2dde61ad6947df46e2cc416be9249f314d187feb717f6e18c0dc9a46bf5bf/data?verify=1538549397-3vZspNti03KIKxRXPmQsQeUbucI%3D: net/http: TLS handshake timeout
#

解決方法

docker login

# docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: 
Password: 
Login Succeeded
#

一度ログインすると、その後取得が可能になる

# docker pull koda/docker-knowledge
Using default tag: latest
Trying to pull repository docker.io/koda/docker-knowledge ... 
latest: Pulling from docker.io/koda/docker-knowledge
55cbf04beb70: Pull complete 
1607093a898c: Pull complete 
9a8ea045c926: Pull complete 
1290813abd9d: Pull complete 
8a6b982ad6d7: Pull complete 
abb029e68402: Pull complete 
8cd067dc06dc: Extracting 7.242 MB/122.1 MB
1b9ce2097b98: Download complete 
d6db5874b692: Download complete 
25b4aa3d52c5: Download complete 
53ec227dabf0: Download complete 
242938ace8b4: Download complete 
85bc5aaf4ec5: Download complete 
fd5b749ebe99: Download complete 
6636846685ec: Download complete

2021年7月14日

n日前のファイルを削除する

ファイルのローテーションをするために処理を書くことがある、find コマンドの -mtime オプションを使うが、このようなニーズでないと使わないのでメモ。

find /home/hoge/backup/* -mtime +7

7日前のファイルが表示される。

xargs コマンドと合わせて削除をする。

find /home/hoge/backup/* -mtime +7 | xargs rm -f

2021年7月12日
ecr get-login を使わずコンテナを ECR に push する

今までは

aws ecr get-login --no-include-email --region ap-northeast-1

のコマンドで ECR に login して container を push することができたが、

近年上記コマンドが実行できなくなってしまった。

代替コマンドとして get-login-password を使うことでログインができる

aws --profile stg ecr get-login-password | docker login --username AWS --password-stdin https://123456789.dkr.ecr.ap-northeast-1.amazonaws.com

Login Successeded となれば成功だ

2021年7月12日
標準出力と、標準エラー出力をまとめてリダイレクトする

たまに使うんだけど、順番を毎回ググって確認していた 2>&1 というリダイレクト処理がある

いままで

command >> word 2>&1

という書き方で、標準出力、標準エラー出力をリダイレクトしてきたが、

実は bash 4.0 から以下のような記載ができるようになったようだ。

command &>> word

man コマンドで bash を見ると以下のような記載がある

The format for appending standard output and standard error is:
&>>word
This is semantically equivalent to
>> word 2> &1
https://www.gnu.org/software/bash/manual/html_node/Redirections.html

これは便利なので活用していきたい。

参考情報

https://qiita.com/r_plus/items/41fb31285fb64fb4be85

2021年7月9日

Model name must be alphanumeric:

API gateway にinsert する際、エラが発生

Your API was not imported due to errors in the Swagger file.
Unable to create model for 'user_id': Model name must be alphanumeric: user_id
Unable to create model for 'staff_id': Model name must be alphanumeric: staff_id

これは正規表現でいうところの

[a-zA-Z0-9]+

のみ model name としての利用を許容しており、アンダースコア含めた名前は API gateway に許容されていないため。

swagger としてはアンダースコアが利用可能なので、API gateway も許容してもらいたいところだ。。

以下のように対処する

paths:
  /hoge:
    post:
    requestBody:
        content:
          application/json:
            schema:
              type: object
              properties:
                booking_deadline:
                  $ref: '#/components/schemas/hogeline'


components:
  schemas:
    Event:
      type: object
      properties:
        hoge_line:
          $ref: '#/components/schemas/hogeline'

2021年7月5日

カテゴリー: tech

検索文字をハイライトする

オートインデント

行番号を表示

概要

ディレクトリ作成

シェル作成

設定ファイル

認証情報

実行

結果

はじめに

原因

起動

Debug方法

はじめに

なぜAlternative Directory Layoutか

Directry Layout

Alternative Directory Layout

双方のメリット・デメリット

メリット

デメリット

結論

はじめに

解決方法