はじめにローカルのファイルをCloud Strageへファイルをアップロードしたい。今回はpythonを利用することにする手順インストールから利用開始まで実は公式ドキュメント（https://cloud.google.com/python/）
linux
PythonでCloud Strageへファイルをupload
GCP
BigQueryにbqコマンドでテーブル作成・スキーマ変更する
BigQueryにbqコマンドでテーブル作成・データ投入・スキーマ変更する。 ネストされたデータも扱いたいので、今回はjsonファイルを読み込むようにする
GCP
embulkでBigQueryの分割テーブル(partitioned table)へデータ投入
BigQueryでクエリスキャンを行うと、いくらwhereで絞ったとしてもテーブル内の指定したカラムは全行読み、それに応じて課金される。BigQueryに分割テーブル(partitioned table)を作成することにより、時間や日付を絞り膨大なスキャンならびに課金を限定的にすることが可能だ。
GCP
BigQueryでテーブルまたぎのSelectについて
BigQueryではFROMに複数のテーブルを指定することができるのでその方法を紹介
linux
The server time zone value ‘Asia/Tokyo’ is unrecognized or represents more than one time zone.
embulkでmysqlへ接続しデータを抽出しようとした際、掲題のエラーが発生。その対処について。
GCP
BigQueryのunnest関数が便利
BigQueryの「大容量のデータを高速でスキャンできる」「従量課金の料金形態」という性質から、テーブル設計をはじめるとRDBMSといろいろ違いがでてくる。 今回は配列をカラムに格納する上で便利なunnest（アンネスト）関数を紹介。
linux
OpenVASからの攻撃をnginxで防ぐ
脆弱性スキャンツールから攻撃されることが度々ある。Nginxでその攻撃を防ぐ。
linux
メールを送れない環境で、受信するはずのメールを確認する
外へのメール送信が制限されている環境だと、メールを確認することができない。その環境で送信されるはずのメールを確認する。
redash
redashのuserをgitで管理する
redashはデータベースに接続できるツールなのでuserの管理がとても重要になる。 最新のユーザー状態を維持するためgitで管理する環境を整備した
linux
Linuxでのswap解放
はじめに気がついたらswapを喰っていることがある。その場合の対処について。