月: 2022年2月

About the concept of S3 directories

Introduction

Most of the tasks in aws can be operated with aws commands. The only command I couldn’t find in the official documentation was “create folder,” which should be on the screen.

The concept of a folder in S3

In fact, the concept of folders does not exist in S3. https://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/UsingMetadata.html

The data model of Amazon S3 is a flat structure. Buckets are created and objects are stored in those buckets. There is no hierarchy of sub-buckets or sub-folders. However, a logical hierarchy can be implied by using key name prefixes and delimiters, such as those used in the Amazon S3 console.

So, for one bucket, there are no folders in it, and it is an image of a large number of files.

So what do we do?

I don’t have a directory, but I’ll just dump it in directly!

aws s3 cp sample.txt s3://test/sample-folder/

This will create a sample-folder in the test bucket. Copy the sample.txt file into it. Reference: Breaking the illusion of “folder” in Amazon S3 and revealing its reality https://dev.classmethod.jp/cloud/aws/amazon-s3-folders/

If multiple environments are registered in the .aws directory, it is possible to specify the profile to be loaded with -profile role-a-profile.

If you want to copy the whole directory, use

--recursive
option to copy the entire directory recursively.

2022年2月25日

What to do when /Var/Lib/Docker/Overlay2 gets bloated in Docker

Introduction

I ran out of storage on my docker build server. I need to delete unnecessary files, but there is a command to safely allocate space.

What to do first

grasp of the situation

Identify what is putting pressure on the disk in docker.

Use docker system df command, you can identify the disk usage related to docker.

# docker system df
TYPE                    TOTAL      ACTIVE     SIZE       RECLAIMABLE
Images               9              1              2.014GB   1.962GB (97%)
Containers           2              0              0B              0B
Local Volumes        4              2              824.6MB   781.2MB (94%)
Build Cache          0              0              0B              0B

cope

It will remove stopped containers, unused volumes, unused networks, and unused images.

docker system prune

However, the option to delete unused volumes and images is required.

# docker system prune --help

Usage:	docker system prune [OPTIONS]

Remove unused data

Options:
  -a, --all             Remove all unused images not just dangling ones
      --filter filter   Provide filter values (e.g. 'label=<key>=<value>')
  -f, --force           Do not prompt for confirmation
      --volumes         Prune volumes

Delete Volumes

I was able to reduce the size of the file by 355.4MB.

553d15cd6b78ad0f21788a22e9ce16a7295c4bab97609973
deleted: sha256:7ae9338aed73a0f33568db53740431038d3a1f779c4dae40d27433984e1cd97c
deleted: sha256:b1be54c8cadff1e50b87b93559320a1ae57b8d0dd326507148f7ca81d707beed
deleted: sha256:86d78f10b9718618eaae056f5dfa1edae518949aee4578e4147268e9db2e75f0

Total reclaimed space: 355.4MB

However, this does not remove the storage.

use –volumes optiion. you can also delete storage.

docker system prune --volumes
WARNING! This will remove:
        - all stopped containers
        - all networks not used by at least one container
        - all volumes not used by at least one container
        - all dangling images
        - all build cache
Are you sure you want to continue? [y/N] y

Deleting Images

If you choose –all option. you can also delete images.

# docker system prune --all
WARNING! This will remove:
        - all stopped containers
        - all networks not used by at least one container
        - all images without at least one container associated to them
        - all build cache
Are you sure you want to continue? [y/N]

After work

When you finish deleting unnecessary files, it will be zero.

# docker system df
TYPE    TOTAL   ACTIVE  SIZE    RECLAIMABLE
Images  0    0    0B   0B
Containers    0    0    0B   0B
Local Volumes 0    0    0B   0B
Build Cache   0    0    0B   0B

2022年2月25日

会社を辞めない起業を読んだ
リスクなく起業するにはどうすればよいか考えていたタイミングでこの本が出版された。

会社員をしながら起業についてわからないことがあった。

具体的なお金の知らないについて。とりわけ社会保険料について知りたかった。

具体的には会社員をやりながら起業すると社会保険料は勤めている会社が払うので、起業した会社では払わなくていいのか。

逆に会社員を辞めて起業した会社にフルコミットする際にやらなければならないこと、気を付けるべきことはなにかを知りたかった。

実際には、この本では
- 起業する上でのタネ探し
- マインドセット
- 時間管理術
- 副業禁止の会社での起業する方法
というところが1 ~ 6章を占めていた。ページ数で言うと 214ページまでは自分のようなモチベーションで読み始めた人にとってはスルーできた。

逆に言えば 215〜 285 までが求めていた情報だった。と言えればよかったのだが、そうでもなかった。

個人事業主の登録をせよ。税金の申告をすることが目的だよ。

青色申告はよいよ。赤字を繰り越せるよ。

ネット銀行便利だよ。

事業計画を作ろう。融資を受けるためにも必要だよ。一年予測での PL (損益計算書) 作ろう。

SNS 拡充させて営業力を持とう。

会社と、自分のビジネスの時間を逆転させていこう。

ミッションを持とう
- 自分の人生で命がけでやりたいこと
- 自分が一番になれること
- 自分にできることで人に喜ばれること
待遇ではなく、世界観で仲間を選ぼうね。

いきなり正社員を採用しない方がよいよ。期間を決めた契約からはじめるといいね。

ざっくりまとめるとこのような感じだ。

簡単にまとめるとこのような内容だった。具体的な方法と言うよりは、実際に起業する際に読む本という位置づけではなく、起業を思いついたときに読む本という位置付けのように感じた。
2022年2月17日

vue.js の v-for を理解する

vue.js の loop

HTML

<script src="https://unpkg.com/vue@3.1.5"></script>
<div id="app">
  <p v-for="color in colors">{{ color }}</p>
</div>

const app = Vue.createApp({
  data: () => ({
    colors: ['black', 'white', 'orange']
  })
})
app.mount('#app')

結果は以下の通り、loop して値を取得できる

2022年2月15日

vue.js の v-if を理解する

表示非表示を切り替える

HTML

<script src="https://unpkg.com/vue@3.1.5"></script>
<div id="app">
  <p v-if="toggle">hello</p>
</div>

const app = Vue.createApp({
  data: () => ({
    toggle: true
  })
})
app.mount('#app')

2022年2月15日

vue.js の v-bind を理解する

HTML

<script src="https://unpkg.com/vue@3.1.5"></script>
<div id="app">
   <input type="text" v-bind:value="message">
</div>

const app = Vue.createApp({
  data: () => ({
    message: 'hello'
  })
})
app.mount('#app')

2022年2月15日

vue.js でデータバインディングをする
vue.js のデータバインディングの仕組みを紹介。

HTML
```
<script src="https://unpkg.com/vue@3.1.5"></script>

<div id="app">
  <p>
    <input type="text" v-model="message">
  </p>
  <p>
    {{ message }}
  </p>
</div>
```
js
```
console.log(Vue.version)

const app = Vue.createApp({
  data: () => ({
    message: "hello"
  })
  
})
app.mount('#app')
```
初期値として js に書かれている hello が表示されるが、

テキストボックスを変更すると、js の message が変更され、html に反映される
2022年2月15日
vue.js で指定の version を読み込む
最新 version ではなく、指定の version を読み込む際の設定

https://v3.ja.vuejs.org/guide/installation.html#vue-devtools

では、
```
<script src="https://unpkg.com/vue@next"></script>
```
を使うように記載されているが、これだと常に最新になる。

@next の部分を version に変更することで指定した version を読み込ませる事ができる
```
<script src="https://unpkg.com/vue@3.1.5"></script>
```
codepen で確認すると、3.1.5 が読み込まれたことを確認。
2022年2月14日

python で csv を結合する

pandas を使う事で容易に結合できる。

例えば以下のような csv ファイルがあったとする

a.csv

NO,CODE
1,987
2,111
3,222

b.csv

ID1,ID2,CODE
1,111111111111111111,111111111111111111
2,222222222222222222,222222222222222222

pandas を使うことで容易に結合する事ができる

import pandas as pd

# まず２つのCSVを読み込む
a = pd.read_csv('./a.csv', encoding='utf-8')
b = pd.read_csv('./b.csv', encoding='utf-8')

# b の ID1 を NO に置換する
b_ = b.rename(columns={'ID1': 'NO'})

# a とb ２つのCSVを結合する。結合する際のキーは NO とする
df_merged = pd.merge(a, b_, on='NO')

# 確認
print(df_merged)

# CSV ファイルとして出力する
df_merged.to_csv("merged.csv", index=False)

結果

 % python3 main.py
   NO  CODE_x                 ID2              CODE_y
0   1     987  111111111111111111  111111111111111111
1   2     111  222222222222222222  222222222222222222

今回、結合した csv ファイルそれぞれに CODE というカラムがそれぞれに存在している。

pd.merge の第一引数になったファイルは _x という suffix がつき、

第二引数になったファイルには _y という suffix が付く。

2022年2月11日

pip で install するパッケージの version を確認する

python で開発をする場合、requirements.txt に install したいパッケージを書く事が多いが、その際 install するパッケージの version を知りたい場合がある。
(さらに…)

2022年2月10日

月: 2022年2月

Introduction

The concept of a folder in S3

So what do we do?

Introduction

What to do first

grasp of the situation

cope

Delete Volumes

Deleting Images

After work