InfluxDB Tools

Roman Plessl bio photo By Roman Plessl

In den letzten Wochen habe ich einige Tools geschrieben oder erweitert, welche das System-Management von InfluxDB erleichtern.

Ausgangslage

Moment verwenden wir eine Reihe von Mess- und Überwachungs-Tools, welche in der Regel auf RRDTool aufbauen. Nun werden über 50’000 RRDTool Files mit unterschiedlichen Messwerten geschrieben. Eine zentrale Auswertung / Verarbeitung ist nicht möglich.

puppet-influxdb

InfluxDB 0.9+ wird eine einzige Datenbank im Backend besitzen, somit wird sich einerseits auch das toml Konfigurationsfile massiv verändern, andererseits sind die Standard / Default Werte für die meisten Fälle gut gewählt.

Ich habe das puppet Rezept für InfluxDB überarbeitet, das Setup vereinfacht (staging entfernt, dafür verwende ich anstatt der latest Version nun die nummerierte Version von InfluxDB).

Hier ist mein neues puppet-influxdb Rezept.

influx-collectd-proxy

Mit Collectd werden die In-System Werte gespeichert, mit dem erweiterten Collectd To Influx Proxy koennen nun grosse Mengen von collectd Messwerten in InfluxDB gespeichert und korreliert werden.

Der Source ist auf Github Collectd To Influx Proxy.

rrdcached-proxy

Die selbst geschriebenen und eingesetzten Tools nagios, pnp4nagios, observium, … können alle den rrdcached verwenden.

Die im Gespräch mit Marius entstandene Idee war, diesen rrdcached Mechanismus mit einem Proxy und Unix-Sockets anzuflanschen, welcher alle Update Werte zusätzlich in die InfluxDB schreibt.

Der Vorteil dieses gewählten Vorgehens ist, dass keines der bestehenden Tools verändert werden muss. Die Konfigurations-Änderungen sind in der Software vorgesehen und in der Grössenordnung von 3 bis 8 Zeilen, somit wenig invasiv.

Raf aka @luxflux vom Dev-Team hat die ganze Proxy Idee dann zur Perfektion gebracht.

Das Ergebnis und der Source ist hier rrdcached-proxy.