tech

コマンドやシェルスクリプトからchatworkを投げる

プログラムからchatを送信したい事がある。chatworkはAPIを公開しているので比較的簡単に実装できる。

docker buildコマンドおさらい 

docker buildを中心とするdockerコマンドの基本的なところをまとめた。

nginxでIPもしくはuseragentでアクセス制限をする

Nigixで複雑な制御をしたいときがある。 例えばnginxでIPもしくはuseragentでアクセス制限などだ。 set関数を使うと、if文のように管理しやすい

PythonでCloud Strageへファイルをupload

はじめにローカルのファイルをCloud Strageへファイルをアップロードしたい。今回はpythonを利用することにする手順インストールから利用開始まで実は公式ドキュメント(https://cloud.google.com/python/)

BigQueryにbqコマンドでテーブル作成・スキーマ変更する

BigQueryにbqコマンドでテーブル作成・データ投入・スキーマ変更する。 ネストされたデータも扱いたいので、今回はjsonファイルを読み込むようにする

embulkでBigQueryの分割テーブル(partitioned table)へデータ投入

BigQueryでクエリスキャンを行うと、いくらwhereで絞ったとしてもテーブル内の指定したカラムは全行読み、それに応じて課金される。BigQueryに分割テーブル(partitioned table)を作成することにより、時間や日付を絞り膨大なスキャンならびに課金を限定的にすることが可能だ。

BigQueryでテーブルまたぎのSelectについて

BigQueryではFROMに複数のテーブルを指定することができるのでその方法を紹介

The server time zone value ‘Asia/Tokyo’ is unrecognized or represents more than one time zone.

embulkでmysqlへ接続しデータを抽出しようとした際、掲題のエラーが発生。その対処について。

BigQueryのunnest関数が便利

BigQueryの「大容量のデータを高速でスキャンできる」「従量課金の料金形態」という性質から、テーブル設計をはじめるとRDBMSといろいろ違いがでてくる。 今回は配列をカラムに格納する上で便利なunnest(アンネスト)関数を紹介。

OpenVASからの攻撃をnginxで防ぐ

脆弱性スキャンツールから攻撃されることが度々ある。Nginxでその攻撃を防ぐ。