gcloud(gcpのコマンド)をzshで使えるようにする
gcloudコマンドしようとすると、デフォルトではbashへinstallすることが前提となってしまっている。zshでgcloudコマンドを設定する。
CloudStorageへAPI経由でファイルをuploadする
Google Cloud StorageへAPI経由でファイルをuploadする。
Introduction to APIs in Google を受講して、基本的な使い方を覚えたのでメモを残す
Kubernetesでスケールアップ・ローリングアップデートを行う
Kubernetesはバズワードになりつつあるが、スケールアップ・ローリングアップデートを含む運用のノウハウはまだまだそれほど多くないのでまとめる。
Cloud Storageをコマンドで操作する
はじめにawsであればファイル置き場にS3を使うことも多いだろう。s3への転送したい場合はaws s3 cpコマンドを使うことが多い。似たようなことをGCPでCloud Storageに対して行いたいことがある。コマンドローカルからファイルをコピーする場合gsutilコマンドを利用する
BigQueryにbqコマンドでテーブル作成・スキーマ変更する
BigQueryにbqコマンドでテーブル作成・データ投入・スキーマ変更する。
ネストされたデータも扱いたいので、今回はjsonファイルを読み込むようにする
embulkでBigQueryの分割テーブル(partitioned table)へデータ投入
BigQueryでクエリスキャンを行うと、いくらwhereで絞ったとしてもテーブル内の指定したカラムは全行読み、それに応じて課金される。BigQueryに分割テーブル(partitioned table)を作成することにより、時間や日付を絞り膨大なスキャンならびに課金を限定的にすることが可能だ。