fluentdで出力tagを書き換えるのに苦労した話

とても久しぶりにfluentdを使ってみることにしました。目的は、ローカルで集めたものをinfluxdbに飛ばすこと。後々はキューを挟むかもしれないけど、とりあえずは直接。あとは、ついでにCPUやらメモリやらの情報も飛ばそうと。既に実現例のたくさんある話の合わせ技です。

• InfluxDB と fluentd を組み合わせを試してみた - Qiita ほか多数
• dstatをfluentd + GrowthForecastで可視化する - Qiita ほか多数

flutendが各ノードで扱うデータの流れは、大まかに2種類。

• アプリの統計情報→fluentd→influxdb
• dstat→fluentd(→dstat情報の整形)→influxdb

influxdbへの出力は、fluent-plugin-influxdb。
dstatからの入力は、fluent-plugin-dstat。

dstatの入力を、influxdbに流すために整形(というより要素ごとに分解)する必要がありますが、やることはそれくらいのはずです。

タグの整形をどうすべきか

さて、しかしその整形を気に入った形にしようとしたら、妙に時間を取られてしまいました。プラグインで自由に拡張できるfluentdであり、選択肢はすぐにいくつも見つかったのですが…

• fluentdでレコードにちょっとした処理をしてフィールドを追加する汎用的プラグインの比較 - Qiita

書き換えたらそこで仕事を終了して、またmatchの方に回すものが大半です。プリミティブな処理をチェーンしていく思想はわかりますが、今回やらなければならないのはそうではなく。
influxdbに出したいものは influx.* というタグで整理して <match influx> でひっかけて、この中にinfluxdbプラグインの設定を書いています。このinfluxdbプラグイン、タグ名がそのままinfluxdbのseriesとして使われるため、influx.dstat.node1.memory みたいな名前になってしまいます。influxdbに入れるデータにinfluxって付けたくないじゃろ…

結局、これを fluent-plugin-forest で実現しました。

	<match influx.**>
	type forest
	remove_prefix influx
	subtype influxdb
	<case **>
	host 192.168.1.11
	port 8086
	dbname test
	</case>
	</match>

view raw rm_prefix_fluentd.conf hosted with ❤ by GitHub

ただ remove_prefix したいだけなのに大袈裟な気がします。何かもっといい方法はあるんでしょうか？