月: 2019年1月

numpyで平均を求める
はじめに

機械学習を勉強しているとPythonが避けて通れない。
中でもnumpyはとても重要だったりする。

基本的な使い方から調べた。

使い方

何はともあれinstall

pipで一発。
```
pip3 install numpy 
```
import
```
import numpy as np
```
以降、npとして利用する

変数に入れる
```
x = np.array([1,2,3])
```
1,2,3を配列として入れる

結果は
```
[1 2 3]
```
変数の中の平均を取る

この配列の中の平均を計算する
一つ一つ足して、カラム数で割る・・・というような処理は不要で、

.mean()メソッドを利用することで自動で計算することが可能。
```
xaverage =x.mean()
print (xaverage)
```
結果は以下のとおり
```
2.0
```
中心化を行う

単回帰分析の場合、求めるのは
- 傾き
- 切片
の２つ。
この中心化を行うことで切片を計算する事が不要になる。

やることは、全てのカラムから、平均分を引くだけ。
```
xc = x - x.mean()
print (xc)
```
詳細はこちら http://www.bokupy.com/detail/93#single-regression3

結果は以下のとおり
```
[-1.  0.  1.]
```
[1 2 3]から全てのカラムが平均2が引かれている事がわかる。
2019年1月15日

pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.

はじめに Introduction

macでpip installを行った際、以下のようなエラーが出てinstallができなかった。

When pip install was performed on mac, the following error occurred and installation failed.

$ pip3 install numpy
pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
Collecting numpy
  Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.")': /simple/numpy/
  Retrying (Retry(total=3, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.")': /simple/numpy/
  Retrying (Retry(total=2, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.")': /simple/numpy/
  Retrying (Retry(total=1, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.")': /simple/numpy/
  Retrying (Retry(total=0, connect=None, read=None, redirect=None, status=None)) after connection broken by 'SSLError("Can't connect to HTTPS URL because the SSL module is not available.")': /simple/numpy/
  Could not fetch URL https://pypi.org/simple/numpy/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/numpy/ (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available.")) - skipping
  Could not find a version that satisfies the requirement numpy (from versions: )
No matching distribution found for numpy
pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/pip/ (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available.")) - skipping

原因　Cause of the problem

SSL通信ができない？

Can’t SSL communication?

対処　countermeasure

admin権限を持つアカウントで同様のコマンドを実行したところ、無事インストールができた。おそらく権限周りの問題が根幹にあるようだ。

When I executed the same command with an account with admin privileges, the installation was successful. Perhaps there is a problem around authority.

2019年1月14日

VMware ESXiにmacからsshする
はじめに

VMware ESXiのホストにログインすることは可能だが、そのログイン方法は少し特殊だ

ESXiでSSHを有効にする

デフォルトでESXiはsshが無効になっている。 ESXiシェルとSSHがデフォルトで停止されている。まずはこれを有効にする

macからESXiへSSHする

ssh -l user名、 IPで接続する
```
ssh -l root 192.168.0.x
```
ちなみにシャットダウンは
```
poweroff
```
コマンドで行う。
2019年1月12日
VPC の作成中にエラーが発生しました: Performing this operation would exceed the limit of 5 NAT gateways

概要

VPCを作成する際に出力されたエラー

原因

NAT Gatewayの上限に抵触している。

対処

上限に達してしまっているので上限を増やす必要がある。

AWSコンソール上のサポートから問い合わせることで対処が可能

東京リージョンの「アベイラビリティーゾーン当たりの NAT ゲートウェイ上限数」を10へと変更することによって対応可能。

2019年1月11日
AWS ECRにimageをpushする
はじめに

ECRのリポジトリへimageをpushする手順を記載する

準備

手元の環境にimageがあること（docker imageコマンドでimageが出てくること）
```
$ docker images
REPOSITORY                        TAG                  IMAGE ID            CREATED             SIZE
sumito_http                          latest               54f5e642e4ae        5 weeks ago         1.1GB
```
手順

ECRにリポジトリを作成する

ECRへpush用のタグをつける
```
$ docker tag sumito_http 123456789.dkr.ecr.ap-northeast-1.amazonaws.com/dmp/sumito:latest 
```
pushする
```
docker push 123456789.dkr.ecr.ap-northeast-1.amazonaws.com/dmp/sumito:latest
```
この際

“` no basic auth credentials “`

と表示される場合はログイン処理が必要になる
```
$ aws ecr get-login --no-include-email --region ap-northeast-1
```
表示されたコマンドを実施して

“` Login Succeeded “`

と表示されればOKだ。

再度pushするとContainer imageがECRに格納される
2019年1月10日

コマンドでwordpressのuserを確認する

はじめに

wordpressのユーザー一覧をgit管理したいことがある。
wpコマンドを使うことで実現可能だ。

手順

$ /usr/local/bin/wp  user list --path='/home/kusanagi/cms/DocumentRoot'
+----+-------------------+-------------------+-------------------+--------------------+---------------+
| ID | user_login        | display_name      | user_email        | user_registered    | roles         |
+----+-------------------+-------------------+-------------------+--------------------+---------------+
| 1  | admin             | admin             | aaa@sumito.jp     | 2013-09-04 01:30:4 | administrator |
| 12 | design            | design            | bbb@sumito.jp     | 2018-08-21 07:46:4 | editor        |
| 15 | ccc               | ccc               | ccc@sumito.jp     | 2018-10-01 05:22:5 | ccc           |
+----+-------------------+-------------------+-------------------+--------------------+---------------+
$

まとめ

あとは定期的にこの処理をcronのようにjobとして動かし、
gitへ通知すればスタッフの離職時の棚卸しなどが容易になる。

2019年1月9日

手動でログローテートを行う
はじめに

手動でログローテートを行いたい時があるので、その対応。

手順
```
logrotate -d /etc/logrotate.d/syslog
```
-vオプションを追加すると詳細が表示される手動実行する際は-fで実行する
```
logrotate -f /etc/logrotate.d/syslog
```
2019年1月8日
Linuxでユーザーを複数のグループに追加する方法
Datadogを使用していると、ログにアクセスできないパーミッションエラーが発生することがあります。このエラーは、Linuxで一般的なものです。解決するには、/var/log/syslogを参照できるようにする必要があります。

以下のコマンドを使用して、/var/log/syslogにアクセスできることを確認します。
```
# ls -l /var/log/syslog
-rw-r----- 1 syslog admin 79639 Jan  2 9:09 /var/log/syslog
```
DatadogのエージェントのUID/GIDを確認し、セカンダリーグループ(admin)に追加します。グループを上書きしないように注意してください。

datadogの agentの UID/GIDを確認
```
# id dd-agent
uid=113(dd-agent) gid=118(dd-agent) groups=118(dd-agent)
```
セカンダリーグループ(admin)に追加

仮に-aを忘れてしまうと、所属しているグループを上書きしてしまいます。
```
usermod -aG admin dd-agent
```
確認
```
# id dd-agent
uid=113(dd-agent) gid=118(dd-agent) groups=118(dd-agent),4(admin)
```
これで、Datadogからログを取得できるようになります。
2019年1月4日

月: 2019年1月

はじめに

使い方

何はともあれinstall

import

変数に入れる

変数の中の平均を取る

中心化を行う

はじめに Introduction

原因 Cause of the problem

対処 countermeasure

はじめに

ESXiでSSHを有効にする

macからESXiへSSHする

概要

原因

対処

はじめに

準備

手順

はじめに

手順

まとめ

はじめに

手順

datadogの agentの UID/GIDを確認

セカンダリーグループ(admin)に追加

確認

原因　Cause of the problem

対処　countermeasure