1 Minute Tips

CloudWatchにログが送れずDISKが枯渇

Written by

sumito.tsukada

in

,

はじめに

AWSで稼働しているAmazonLinuxのdiskサイズが枯渇した

原因

何かが肥大化しているのが通例なので、duコマンドで調べていったら

/var/log/awslogs.log

が数ギガ使っていたということにたどり着いた

もちろんログローテートはしているが、数ギガ使っているというのは明らかに異常

何がawslogs.logに書き込んでいるか。

Linuxにある各種ログファイルを

CloudWatchMonitoringScripts
http://aws-cloudwatch.s3.amazonaws.com/downloads/CloudWatchMonitoringScripts-1.2.1.zip

を用いてCloudWatchに送っているが、このスクリプトが送信した情報は

/var/log/awslogs.log

に書かれる。これが肥大化していた

どのようなエラー内容か

/var/log/awslogs.log

をtailで見ると、以下のようなログが出力されていた。

ClientError: An error occurred (AccessDeniedException) when calling the PutLogEvents operation: User: arn:aws:iam::****:user/**** is not authorized to perform: logs:PutLogEvents on resource: arn:aws:logs:ap-northeast-1:****:log-group:/var/log/cron/cron:log-stream:ALL

AccessDeniedException

をみて、awsコマンドの設定周りが怪しいとあたりがついた

awsのconfigについて

前途した通り、LinuxサーバはCloudWatchMonitoringScriptsを用いてログを送付しているが、

設定ファイルは/etc/配下に格納している。

それぞれ、awsコマンドを使う上での環境設定ファイルと、監視対象のログを記載したファイル

[plugins]
cwlogs = cwlogs

[default]
region = ap-northeast-1
aws_access_key_id=***
aws_secret_access_key=***

 

[general]
state_file = value
logging_config_file = value
use_gzip_http_content_encoding = false

[/var/log/maillog/maillog]
datetime_format = %b %d %H:%M:%S
file = /var/log/maillog/maillog
buffer_duration = 5000
log_stream_name = ALL
initial_position = start_of_file
log_group_name = /var/log/maillog/maillog

 

設定自体は問題なさそう。

原因

/etc/awslogsが最初に呼ばれるわけではない。

起動ユーザーの.awsディレクトリ配下が先に呼ばれる。

そのため、.awsディレクトリが存在していると、

ログが送れないなどの事象が発生する。

[default]

中身は[default]しか書かれていなかったが、設定ファイルが存在していた。

これが存在していたことにより、/etc/awslogsディレクトリが読み込まれず、Cloudwatchに送付できていなかったようだ。

対処

空の.awsディレクトリを削除し、awslogsを再起動

正常にcloudWatchにログが送付され、DISKの肥大化も解消した

参考情報

本記事のみならず、AWSについて体系的に学ぶことができるのでおすすめ。

More posts