jsonにコメントを書く
Jsonは正式にコメント欄というのがない。しかしコメント重要。なんとかする
S3のディレクトリの考え方について
awsにおける大半の作業はawsコマンドで操作ができる。画面上にはあるはずの「フォルダの作成」だけ、オフィシャルドキュメントにコマンドが見つからなかった。なんとかしてディレクトリを作る。
cronで簡易監視スクリプトを作る
zabbixやcloudWatchのような”ちゃんとした監視”ではなく、本当にシンプルな値だけを監視して、敷地を超えた場合は通知のみしたいことがある。今回はdisk使用量のみを監視するスクリプトを作った。
nginxでIPもしくはuseragentでアクセス制限をする
Nigixで複雑な制御をしたいときがある。
例えばnginxでIPもしくはuseragentでアクセス制限などだ。
set関数を使うと、if文のように管理しやすい
PythonでCloud Strageへファイルをupload
はじめにローカルのファイルをCloud Strageへファイルをアップロードしたい。今回はpythonを利用することにする手順インストールから利用開始まで実は公式ドキュメント（https://cloud.google.com/python/）
BigQueryにbqコマンドでテーブル作成・スキーマ変更する
BigQueryにbqコマンドでテーブル作成・データ投入・スキーマ変更する。
ネストされたデータも扱いたいので、今回はjsonファイルを読み込むようにする
embulkでBigQueryの分割テーブル(partitioned table)へデータ投入
BigQueryでクエリスキャンを行うと、いくらwhereで絞ったとしてもテーブル内の指定したカラムは全行読み、それに応じて課金される。BigQueryに分割テーブル(partitioned table)を作成することにより、時間や日付を絞り膨大なスキャンならびに課金を限定的にすることが可能だ。