この記事はMakuake Advent Calendar 2021の17日目の記事です。
気づけば入社して丸3年が経ち、会社のアドベントカレンダーも3回目の参戦です。
ここ1年はRe-ArchitectureチームというMakuakeのサービス基盤の開発・運用を行うチームに所属し、色々と奮闘してきました。
来年もきっとあれこれと奮闘するでしょう。
Re-Architectureチームの求人はこちら。 【Go/マイクロサービス】「Makuake」の基盤を刷新するRe-Architectureチームのエンジニア募集！
さて、今年の一本目の記事（24日にもう一本かく、たぶん）は「コンテナで始めるモニタリング基盤構築」です。
特に本業とは関係なく、趣味で作っているアプリケーションのモニタリング基盤をコンテナでいい感じにしてみたいと思ってあれこれ試していたので、その時の知見（というほどでもないですが・・・）を公開しようと思います。
モニタリング基盤構成
今回構築するモニタリング基盤を構成するアプリケーションは以下です。
- Elasticsearch
- 検索エンジン。アプリケーションログを蓄積します。ログを収集するアプリケーション自体はGoで簡易的なアプリを実装します。
- Fluentd
- ログアグリゲーター。ログを収集して、Elasticsearchに転送します。
- EFKスタックではなくELK（FluentdではなくLogstash）でも良かったのですが、馴染みのあるFluentdのほうを採用しました。
- Kibana
- データ検索・可視化・分析のUI。アプリケーションログを可視化します。
- Grafana
- Kibanaと同じく、データのためのUI。システムメトリクスの可視化に利用します。
- アプリケーションログの可視化にも利用できますが、アプリケーションログはKiabanaを利用します。
- Prometheus
- システムメトリクスの監視ツール。node-exporterやcadvisorと連携してシステムメトリクスを収集します。収集したデータの可視化はGrafanaで行います。
- node-exporter
- OSメトリクスを収集します。
- cadvisor
- コンテナメトリクスを収集します。
とりあえず構築して遊んでみたい人向けにざっくり構成してみました。
これらのアプリケーションをdocker-composeで構築します。
モニタリング基盤構築
全ての実装はbmf-san/docker-based-monitoring-stack-boilerplateに置いてあります。
cloneしたら.envを作ってdocker-compose upするだけですぐに触れるようになっています。
ちなみにM1だとcadvisorが起動しないため、コンテナメトリクスが収集できません。intel macやubuntuでは動作確認済みです。
ディレクトリ構成は以下の通りです。1コンテナずつ解説していきます。
1つひとつ解説していきたいと思います。
app
最初にログを吐く雑なアプリケーションコンテナを作ります。
アプリケーションはこんな感じです。”OK”とログを吐いて、"Hello World"とレスポンスするだけのサーバーです。
Dockerfileはソースをビルドしてバイナリを実行するだけの単純なもので、特に補足はありません。
docker-compose.ymlのほうは以下のような形になります。
logging driverにfluentdを指定して、ログをfluentdに転送します。
fluent-async-connectはfluentdと接続が確立できるまでログをバッファリングする設定で、trueの場合は接続が確立していなくてもログをバッファリングしてくれます。
fluentd
アプリケーションのログ転送先であるfluentdのコンテナについて解説します。
Dockerfileは下記です。
fluentdで使っているgemはelasticsearchと連携するためのfluent-plugin-elasticsearchだけです。
USERをrootにして、最後にfluentに戻しているのは、fluentdのイメージの実行ユーザーがfluentな為です。
fluentdのconfは以下のように設定します。
fluentdのconfでは#{...}という形式で環境変数を埋め込むことができるので、envsubstなどを利用しなくても変数を埋め込むことができ便利です。
docker-compose.ymlの方は特記事項がないため割愛します。
elasticsearch
elasticsearchはシングルーノードで起動するように設定します。 他に特記することがないので詳細は省きます。
kibana
続いて、アプリケーションログの可視化をするkibanaについてです。
Dockerfileについては特記事項がないので記載を割愛して、kibanaのconfから説明します。
xpack.monitoring.ui.container.elasticsearch.enabledは、elasticsearchがコンテナで実行されている場合は有効化して置く必要のあるオプションです。
kibanaのdocker-compose.ymlについては特記事項がないため割愛します。
node-exporter & cadvisor
node-exporterとcadvisorについてマウントするディレクトリや起動オプションについて意識する程度なので説明は割愛します。
prometheus
続いてprometheusです。
envsubstを使ってprometheusの設定ファイルを書きたかったので、Dockerfileを下記のようにしています。
docker-compose.ymlは下記のようになります。
prometheusの設定ファイルは次のように書いています。
スクレイプしたいジョブ名とターゲットについてだけ書いています。Alertmanagerを使ったアラート通知を設定したい場合はAlertmanagerの設定もこの設定ファイルに追記することになります。
grafana
最後にgrafanaです。
docker-compose.ymlは次のようになります。
provisioningはデータソースやダッシュボードのプロジョニングで使うファイルを置いておくディレクトリです。
データソースにはprometheusを利用するので、datasources/datasource.ymlにprometheusの設定を記載しています。
ダッシュボードはコンテナメトリクス用とOSメトリクス用のダッシュボードの設定ファイルを用意しています。
ダッシュボードの設定ファイルはgrafana.com - grafana/dashboardsで公開されているものを利用することができます。
ダッシュボードはゼロから組み立てるとそこそこ大変なので、ベースになるものを探してそれを調整するのが良さそうに思います。
公開されているものはかなり充実しているので、色々触ってみると面白いです。
起動
設定値のほとんどを環境変数で調整できるように構成しています。
bmf-san/docker-based-monitoring-stack-boilerplateの.env.exampleを.envとしてコピーしたら、docker-compose upで起動できます。
.env.exampleの設定では以下のようにポート番号を振っています。
| Application | URL |
|---|---|
| app | http://localhost:8080/ |
| prometheus | http://localhost:9090/graph |
| node-exporter | http://localhost:9100/ |
| mysqld-exporter | http://localhost:9104/ |
| grafana | http://localhost:3000/ |
| kibana | http://0.0.0.0:5601/ |
まとめ
割と簡単に構築できたのではないでしょうか（コンテナの恩恵かな）。 それぞれのアプリケーションのアーキテクチャ構成は奥深いので一通り触ったら仕組みをみてみるというのも面白いかと思います。 まだ実際に運用できていないので、早い所運用に乗せてみたい所存です。