1 Minute Tips

投稿者: sumito.tsukada

  • Vimでよく使う便利なコマンド

    Vimでよく使う便利なコマンド

    検索文字をハイライトする

    :set hlsearch!

    オートインデント

    :set autoindent

    行番号を表示

    :set nu

  • CloudWatch Logsで任意の文字列を監視してグラフ化する

    CloudWatch Logsで任意の文字列を監視してグラフ化する

    概要

    シェルでラップして見たい値をCloudWatchに飛ばして監視する。

    今回はその仕組みを流用してサーバのプロセス数を監視監視した。

    ディレクトリ作成

    どこでも良い。今回はec2-userの下にcloudwatchディレクトリを作成する

    mkdir /home/ec2-user/cloudwatch
cd /home/ec2-user/cloudwatch

    シェル作成

    vi CustomMetrix.sh

    #!/bin/sh
CUR_DIR=/home/ec2-user/cloudwatch

export JAVA_HOME=/usr/lib/jvm/jre
export AWS_CLOUDWATCH_HOME=/opt/aws/apitools/mon
export EC2_REGION=ap-northeast-1
export AWS_CREDENTIAL_FILE=${CUR_DIR}/credential
InstanceId=`cat /var/tmp/aws-mon/instance-id`
# 設定ファイル
PROCESSCONFIG=${CUR_DIR}/process-conf.txt

# Process Check(設定したファイルから読み込む)
cat ${PROCESSCONFIG} | sed '/^$/d' | grep -v '^#.*' | while read PROCESS
do
COUNT=`ps aux | grep ${PROCESS} | grep -v grep | wc -l`
echo ${PROCESS}:${COUNT}
/opt/aws/bin/mon-put-data --metric-name ${PROCESS} --namespace "CustomMetrix" --dimensions "InstanceId=${InstanceId}" --value ${COUNT}
done

# LoadAverage(1分間の測定値を取得)
/opt/aws/bin/mon-put-data --metric-name "LoadAverage" --namespace "CustomMetrix" --dimensions "InstanceId=${InstanceId}" --value `cat /proc/loadavg | awk '{print $1;}'`

    設定ファイル

    process-conf.txt

    httpd
crond

    認証情報

    credential

    AWSAccessKeyId=aaaaaaaa
AWSSecretKey=ccccccccc

    実行

    sh ./CustomMetrix.sh

    httpd:0
crond:1

    結果

  • GitLab Connection to gitlab.com timed out. (connect timeout=5)’))

    GitLab Connection to gitlab.com timed out. (connect timeout=5)’))

    はじめに

    GitLabに接続する際、

    GitLab Connection to gitlab.com timed out. (connect timeout=5)'))

    のように表示されることがある

    原因

    接続元が同しIPの接続元から、gitLabに複数回アクセスしたものの認証に失敗した。

    しかし、なんどもログイン失敗したため、接続元のIPを自動でプラックリストに入ってしまったことが原因

  • Baseimage-dockerとは

    Baseimage-dockerとは

    docker は 1コンテナ 1プロセスで動かすという思想のもと作られているが、普通のコンテナ思想のもと作られたコンテナではない。

    ssh でログインすることもできるし、 cron も動かすこともできる。

    supervisorなどのプロセスコントロールシステムを使えば複数プロセス起動させることもできるので、この仕組みを使っているちょっと変わった 80M 程度の軽量なコンテナだ。

    利用方法は以下の通り。まずは pull

    docker pull phusion/baseimage:master

    起動

    docker run --rm -it phusion/baseimage:master

    Baseimage-dockerのiniプログラムが実行される。

    ctrl + cで抜ける事ができる

    この ini 処理で supervisor が動き、そのプロセスの中で ssh を受け付けたり, cron を動かしたりしている。

    Debug方法

    Baseimage-dockerのiniプログラムを実行させず、直接bashを起動は以下の通り

    直接コンテナに入ることができる。

    docker run --rm -it phusion/baseimage:master bash -l
  • Alternative Directory LayoutでAnsible-playbookを作った際に考えたこと

    Alternative Directory LayoutでAnsible-playbookを作った際に考えたこと

    はじめに

    Ansibleで環境を作ろうと思えば、Ansibleのディレクトリ構成をどのような作り方もできてしまうが、Ansibleのbest practicesのAlternative Directory Layout (https://docs.ansible.com/ansible/2.5/user_guide/playbooks_best_practices.html#alternative-directory-layout )を元に構成を作ることにした

     

    なぜAlternative Directory Layoutか

    まず、Alternativeではない、正攻法(?)のDirectry Layoutは、以下のとおり

    Directry Layout

     

    これに対し、Alternative Directory Layout は Staging/Production が 明確に分かれているのが特徴だ

    Alternative Directory Layout

    双方のメリット・デメリット

    メリット

    productionとstagingがディレクトリが分かれているため 環境ごとに設定を変える事ができる。

    Directry Layoutの場合、productionとstagingがディレクトリが分かれていない。

    そのため、productionとstagingが全く同じ環境であればよいが、ランニングコストを下げるためにStagingのみ台数を減らしたり、パラメータを変更するようなことが柔軟にやりにくくなってしまう。現在のみならず、先々を考慮しこの構成を採用した

    デメリット

    ほとんどの設定ファイルがproductionとstagingで冗長してしまう

    結論

    上記デメリットがあるものの、Alternative Directory Layout を採用することによる享受できるメリットが判断し、このレイアウトを採用することにした。

  • error pulling image configuration: Get https://xxxx : net/http: TLS handshake timeout

    error pulling image configuration: Get https://xxxx : net/http: TLS handshake timeout

    はじめに

    docker pullした際、以下のような TLS handshake timeout が発生

    # docker pull koda/docker-knowledge
Using default tag: latest
Trying to pull repository docker.io/koda/docker-knowledge ... 
latest: Pulling from docker.io/koda/docker-knowledge
55cbf04beb70: Pulling fs layer 
1607093a898c: Pulling fs layer 
9a8ea045c926: Pulling fs layer 
1290813abd9d: Waiting 
8a6b982ad6d7: Waiting 
abb029e68402: Waiting 
8cd067dc06dc: Waiting 
1b9ce2097b98: Waiting 
d6db5874b692: Waiting 
25b4aa3d52c5: Waiting 
53ec227dabf0: Waiting 
242938ace8b4: Waiting 
85bc5aaf4ec5: Waiting 
fd5b749ebe99: Waiting 
6636846685ec: Waiting 
error pulling image configuration: Get https://production.cloudflare.docker.com/registry-v2/docker/registry/v2/blobs/sha256/9a/9ae2dde61ad6947df46e2cc416be9249f314d187feb717f6e18c0dc9a46bf5bf/data?verify=1538549397-3vZspNti03KIKxRXPmQsQeUbucI%3D: net/http: TLS handshake timeout
#

    解決方法

    docker login

    # docker login
Login with your Docker ID to push and pull images from Docker Hub. If you don't have a Docker ID, head over to https://hub.docker.com to create one.
Username: 
Password: 
Login Succeeded
#
    一度ログインすると、その後取得が可能になる
    # docker pull koda/docker-knowledge
Using default tag: latest
Trying to pull repository docker.io/koda/docker-knowledge ... 
latest: Pulling from docker.io/koda/docker-knowledge
55cbf04beb70: Pull complete 
1607093a898c: Pull complete 
9a8ea045c926: Pull complete 
1290813abd9d: Pull complete 
8a6b982ad6d7: Pull complete 
abb029e68402: Pull complete 
8cd067dc06dc: Extracting 7.242 MB/122.1 MB
1b9ce2097b98: Download complete 
d6db5874b692: Download complete 
25b4aa3d52c5: Download complete 
53ec227dabf0: Download complete 
242938ace8b4: Download complete 
85bc5aaf4ec5: Download complete 
fd5b749ebe99: Download complete 
6636846685ec: Download complete 
    

    
			
    
		
    
		
	
  • 
		
		
    
			
    NINE LIES ABOUT WORK　仕事に関する９つの嘘 を読んだ
    
			
    NINE LIES ABOUT WORK　仕事に関する９つの嘘 を読んだ
    
			
    背景
    

    チームリーダーとして仕事をする上で、自分のやり方が正しいのか、ルールがおかしいのかよくわからなくなることが多々ある。
    

    その度にマネジメント系の本を頼ったりしていたが、今回同僚にこの本を勧められたので自分も買ってみた。
    

    

    ８つの質問
    

    この本では、最も業績の高いチームにとくに多くみられた従業員経験の側面があり、それを正確に表現した質問事項が以下の８つあがっている。
    

      

    • 会社の使命に貢献したいと思っているか
      • 

    • 仕事で「自分に期待されている事」とはっきり理解しているか
      • 

    • 所属チームでは「価値観が同じ人」に囲まれているか
      • 

    • 仕事で「強みを発揮する機会」が毎日あるか
      • 

    • 自分に「チームメイトがついている」と思えるか
      • 

    • 「優れた仕事」をすれば認められることをしているか
      • 

    • 「会社の未来」に自信を持っているか
      • 

    • 仕事で常に「成長」を促されているか
      • 

    

    

    目標設定について
    

    登場人物のひとりとして、よくマラソンを目指す友人という話しがでるので、自分ごとのように読んだ。
    

    目標が役立つかどうか、自発的に設定したかどうか。全体目標から落とし込まれた目標は、本当の目標ではない。
    

    最高の企業は目標を落とし込まない。最高の企業は「意味」を落とし込む。
    

    チームメンバーには外の世界で起こっていることを理解させるとともに、どの山を目指しているのかを伝える。
    

    「意味」と「目的」がわかれば人は動く。
    

    貢献するための具体的な方法はチームメンバーに任せるべきだ。
    

    

    もっと突き詰めれば「共通の目標」があってもまとまらず、チームメンバーのために本当に重要な仕事の意味と目的、使命と貢献、手法を吹き込むことと説いてある。
    

    チームリーダーの役割
    

    チームリーダーの役割は、チームとしてのアウトプットを最大化し、メンバーには手鏡を与えることである。
    

    ビジネス感覚を持った人とはどんな人か
    

    ビジネス状況を理解して決断を示す機敏な速さのことであると説いてある。
    

    ビジネス感覚を持つ人は、状況に関する重要な情報を取得、主要目標に集中し、問題解決のために取り得る妥当な対応策を認識し、適切な行動指針を選ぶこと。それができる人のことだ。
    

    人は訓練を積んでも、他人を正しく評価できるようにはならないと本書では伝えている。
    

    その状況に対してどうすればいいか。
    

    評価に使う良いデータと悪いデータを識別する方法を学ぶことからはじめる
    

    答えではなく、問いを模倣せよ
    

    本書を乱暴にたった一行でまとめるとすればこんな感じだ。
    

    本ブログでまとめたのはごく一部だが。目から鱗が落ちるところが多々あった。
    

    

    
			
    
		
    
		
	
  • 
		
		
    
			
    n日前のファイルを削除する
    
			
    n日前のファイルを削除する
    
			
    

    ファイルのローテーションをするために処理を書くことがある、find コマンドの -mtime オプションを使うが、このようなニーズでないと使わないのでメモ。
    




     find /home/hoge/backup/* -mtime +7 
    




    7日前のファイルが表示される。
    




    xargs コマンドと合わせて削除をする。
    




    find /home/hoge/backup/* -mtime +7 | xargs rm -f
    

    
			
    
		
    
		
	
  • 
		
		
    
			
    ecr get-login を使わずコンテナを ECR に push する
    
			
    ecr get-login を使わずコンテナを ECR に push する
    
			
    

    今までは
    




    aws ecr get-login --no-include-email --region ap-northeast-1
    




    のコマンドで ECR に login して container を push  することができたが、
    




    近年上記コマンドが実行できなくなってしまった。
    




    代替コマンドとして get-login-password を使うことでログインができる
    




    aws --profile stg ecr get-login-password | docker login --username AWS --password-stdin https://123456789.dkr.ecr.ap-northeast-1.amazonaws.com
    




    




    Login Successeded となれば成功だ
    

    
			
    
		
    
		
	
  • 
		
		
    
			
    標準出力と、標準エラー出力をまとめてリダイレクトする
    
			
    標準出力と、標準エラー出力をまとめてリダイレクトする
    
			
    

    たまに使うんだけど、順番を毎回ググって確認していた 2>&1 というリダイレクト処理がある
    




    いままで
    




    command >> word 2>&1
    




    という書き方で、標準出力、標準エラー出力をリダイレクトしてきたが、
    




    実は bash 4.0 から以下のような記載ができるようになったようだ。
    




    command &>> word
    




    man コマンドで bash を見ると以下のような記載がある
    




    The format for appending standard output and standard error is:
    &>>word
    This is semantically equivalent to
    >> word 2> &1
    https://www.gnu.org/software/bash/manual/html_node/Redirections.html
    




    これは便利なので活用していきたい。
    




    




    参考情報
    




    
https://qiita.com/r_plus/items/41fb31285fb64fb4be85