投稿者: sumito.tsukada

はじめに

CloudWatch Logsで集めたログの中で任意の文字列（例えば、Errorとか、Criticalとか）が記載されていた場合、メールなどで通知させたい事がある。

Node.jsをLambdaで動かす事で文字列監視を実装した。

通知先の作成

まずはSNSでメールの宛先から作成しARNを控え、エンドポイントとなるメールアドレスを設定する。 

node.js(lambda)

関数コードを編集

ERROR、CRITICALという文字列があったら監視するスクリプト

var zlib = require('zlib');
var aws = require('aws-sdk');
var sns = new aws.SNS({ region: 'ap-northeast-1' });
exports.handler = function(input, context, callback) {
  var data = new Buffer(input.awslogs.data, 'base64');
  zlib.gunzip(data, function(e, rst) {
    if (e) {
      callback(e);
    } else {
      rst = JSON.parse(rst.toString('utf-8'));
      var errL = rst['logEvents']
          .filter(function(evt) { return evt['message'].match(/ERROR/i) ;})
          .filter(function(evt) { return !evt['message'].match(/$^/) ;})
          .map(function(evt) { return evt['message'] });
      console.log('processing[Error]' + errL.length + '/' + rst['logEvents'].length + ' events.');
      var critL = rst['logEvents']
          .filter(function(evt) { return evt['message'].match(/CRITICAL/i) ;})
          .filter(function(evt) { return !evt['message'].match(/$^/) ;})
          .map(function(evt) { return evt['message'] });
      console.log('processing[Crit]' + critL.length + '/' + rst['logEvents'].length + ' events.');
      if (errL.length === 0 && critL.length === 0) { callback(); return; }
      var date = new Date();
      date.setTime(date.getTime() + 1000*60*60*9);
      var dateTime = date.getFullYear() + '/' + ("0" + (date.getMonth() + 1)).slice(-2) + '/' + ("0" + date.getDate()).slice(-2) +
           ' ' + ("0" + date.getHours()).slice(-2) + ':' + ("0" + date.getMinutes()).slice(-2) + ':' + ("0" + date.getSeconds()).slice(-2);
      if (0 < errL.length) {
        // has error log
        var sjct = '[Error] Notify From CloudWatch Logs';
        var pl = { default: '' };
        pl['default'] += 'NotifyAt: ' + dateTime.valueOf() + '\n';
        pl['default'] += 'Log: ' + rst['logGroup'] + ' - ' + rst['logStream'] + '\n';
        pl['default'] += 'Filter: ' + rst['subscriptionFilters'] + '\n';
        pl['default'] += 'Messages:\n';
        pl['default'] += errL.join('\n---\n');
        sns.publish({
          Subject: sjct,
          Message: JSON.stringify(pl),
          MessageStructure: 'json',
          TargetArn: 'arn:aws:sns:ap-northeast-1:1234567890(your no):(your arn)'
        }, function(err, data) {
          if (err) {
            callback(err);
          } else if (0 < critL.length) {
            // has waring too
            var sjct = '[Critical] Notify From CloudWatch Logs';
            var pl = { default: '' };
            pl['default'] += 'NotifyAt: ' + dateTime.valueOf() + '\n';
            pl['default'] += 'Log: ' + rst['logGroup'] + ' - ' + rst['logStream'] + '\n';
            pl['default'] += 'Filter: ' + rst['subscriptionFilters'] + '\n';
            pl['default'] += 'Messages:\n';
            pl['default'] += critL.join('\n---\n');
            sns.publish({
              Subject: sjct,
              Message: JSON.stringify(pl),
              MessageStructure: 'json',
              TargetArn: 'arn:aws:sns:ap-northeast-1:1234567890(your no):(your arn)'
            }, function(err, data) {
              if (err) callback(err);
              else callback(null, data);
            });
          } else {
            callback(null, data);
          }
        });
      } else {
        // has NOT error log == criticaling only
        var sjct = '[Critical] Notify From CloudWatch Logs';
        var pl = { default: '' };
        pl['default'] += 'NotifyAt: ' + dateTime.valueOf() + '\n';
        pl['default'] += 'Log: ' + rst['logGroup'] + ' - ' + rst['logStream'] + '\n';
        pl['default'] += 'Filter: ' + rst['subscriptionFilters'] + '\n';
        pl['default'] += 'Messages:\n';
        pl['default'] += critL.join('\n---\n');
        sns.publish({
          Subject: sjct,
          Message: JSON.stringify(pl),
          MessageStructure: 'json',
          TargetArn: 'arn:aws:sns:ap-northeast-1:1234567890(your no):(your arn)'
        }, function(err, data) {
          if (err) callback(err);
          else callback(null, data);
        });
      }
    }
  });
};

トリガーを設定

今回はCloudWatch Logsがトリガーとなるので、CloudWatch Logsを選択し、その後対象のログを選択する。

通知先の設定

Amazon SNSのARNを選択する（予めSNSでトピックを作っておく必要がある）

以上

はじめに

AWSでcloudwatchで監視し、異常があったらSNSで通知する事はあるが、SNSではデフォルトで「配信停止（unsubscribe）する場合は、ここクリックしてね」とありがたいことに(?)記載されてある。

チーム開発しているとSNSの通知先がメーリングリストにしていると、誤って押されてしまうと、その後のメールが来なくなってしまう。

配信停止（unsubscribe）を押された場合検知はさっくり作れたのでそれをまとめる

手順

awsコマンドとjqコマンドをうまく組み合わせる

aws sns list-subscriptions | jq -r '.Subscriptions[] | select(.SubscriptionArn == "Deleted") '

結果

aws sns list-subscriptions | jq -r '.Subscriptions[] | select(.SubscriptionArn == "Deleted") '
{
  "SubscriptionArn": "Deleted",
  "Owner": "xxxxxxxxxx",
  "Protocol": "email",
  "Endpoint": "sute@sumito.jp",
  "TopicArn": "arn:aws:sns:ap-northeast-1:xxxxxxx:xxxxxxxxx"
}

unsubscribeされたメールドレスや、TopicArn情報などを確認することができる。

ちなみにチャットワークに通知する場合は以下の通りシェルでラップする

#!/bin/bash
aws --profile=$1 sns list-subscriptions | jq -r '.Subscriptions[] | select(.SubscriptionArn == "Deleted") ' > /tmp/check-unsubscribe.$1

# 文字を整形する
# headder
cat << _EOT_ > /tmp/check-unsubscribe.$1.txt
[info]
[title]Someone clicked unsubscribe link
[/title]
_EOT_

# contents
cat  /tmp/check-unsubscribe.$1 >> /tmp/check-unsubscribe.$1.txt
echo "[/info]"  >> /tmp/check-unsubscribe.$1.txt

_roomid=xxxxxxxxxxxxx # (your chatroom id)
_body=`cat /tmp/check-unsubscribe.$1.txt`

# 1件以上あれば通知する
if [ `wc -l /tmp/check-unsubscribe.$1 | awk '{print $1}'` -gt 0 ] ; then
    curl -X POST -H "X-ChatWorkToken: 123456789" -d "body=${_body}" "https://api.chatwork.com/v2/rooms/${_roomid}/messages"
fi

exit 0

はじめに

ymlファイルをCloudFormationでデプロイした時、というエラーが出た。

When yml file is deployed with CloudFormation, bellow error was happened.

ZipFile length cannot exceed 4096 characters. For larger source use S3Bucket/S3Key properties instead.

原因 reason

zip化する際に含まれるコードが4096文字を越えると本エラーに陥る。

This error occurs when the code included in zipping exceeds 4096 characters.

対処 deal

いらないところを削除するなどして、コードをコンパクトにする。

Make the code more compact by deleting unnecessary parts.