Open DTU topics über node red in InfluxDB

[sebther]

Hallo an alle!

ich habe wieder einmal ein Problem.
Ich schaffe es nicht, dass ich meine MQTT Daten in meine Influx Datenbank bekomme.
Als IoT Server habe ich einen Raspberry PI mit Containern für Mosquitto, Node red, InfluxDB und Grafana.
Meine Daten bringe ich problemlos bis zum Mosquitto und sehe sie auch mit dem MQTT Explorer.
Leider schaffe ich es nicht, den Mosquitto Broker mittels Node red mit Influx zu verbinden.
Ich vermute, dass ich bei der „Übersetzung“ der Topics in das JSON Format den Fehler habe.
Kann mir hier vielleicht jemand von den Profis einen zielbringenden Tipp oder ein Beispiel geben?

Danke schon vorab für die Unterstützung!

Liebe Grüße Helmut

[Juergen2453]

Wenn du von OpenDTU direkt in die influxdb speichern willst dann kannst du folgendes nehmen
https://github.com/joba-1/openDtu2Db

[sebther]

Hallo Jürgen!
versteh ich das richtig….da brauch ich gar nicht diese Verbindung über Node red?
Kann ich meinen Mosquitto und auch die InfluxDB nach wie vor im Container laufen lassen?

Liebe Grüße Helmut

[Juergen2453]

Genau, Das Programm ist in Python geschrieben, es holt die Daten von MQTT (mosquitto) und speichert alles in eine influx-Datenbank.
Da du ja schon den mosquitto hast und wenn du influxdb installiert hast einfach das Python Programm starten (OpenDtu2db.ini anpassen)
Python natürlich auch installieren. Am besten die infuxdb 1.x installieren mit der 2.x habe ich es noch nicht ausprobiert.

ps. Es übernimmt alle Daten von openDTU und speichert sie ab.

[sebther]

Hallo Jürgen!
Klingt gut- seh ich mir morgen gleich an!
Kann ich das Ganze auch so implementieren, dass die einzelnen Programme (Mosquitto, InfluxDB und Grafana) nach wie vor im Container laufen?

Liebe Grüße Helmut

[Juergen2453]

Da muss ich passen, da ich nicht mit Container arbeite. Aber warum sollte es nicht gehen.

[sebther]

Schönen Abend Jürgen!

ich glaub, ich hab auch eine Lösung für Node red gefunden… muss ich aber erst ausprobieren.
Für mich wäre der Vorteil, dass ich mein Gesamtsystem verwenden könnte - und alles in den Containern.
Anbei der Link zur Erklärung, für den Fall, dass es jemanden interessiert:
https://cookbook.nodered.org/basic/join-streams#example

Liebe Grüße Helmut

[ropgenoo]

Hallo Helmut,
ich habe das einfach mit Telegraf realisiert. Das ganze läuft hervorragend in einem Container und ist relativ schlank. Es lässt auch Transformationen nach Deinem Gusto zu, so dass die Daten so in InfluxDB gespeichert werden, wie Du sie gerne hättest.
Bei Interesse, lasse ich Dir gerne meine Config zukommen.

Ich lasse das ganze mit einer InfluxDB 2.0 laufen.

Viele Grüße.

[sebther]

Hallo Jürgen!
Danke fürs Feedback - hab’s mittlerweile mit meinem System hinbekommen….läuft alles - kenn mich nur noch net mit den Programnen bzw. deren Administrierung im Container so recht aus. Müsste die Zugriffsverwaltung anpassen und das Ganze mit User und PW versehen…jetzt bin ich da am werkeln😬
Liebe Grüße Helmut

[Juergen2453]

Hallo @sebther @ropgenoo ,
ich habe nun auch angefangen influxdb 1.8 auf influxdb 2.x zu überspielen.
Eine Frage an euch: habt ihr die Autorisierung mit token oder mit user/password gemacht? Und habt ihr die in Grafana "Data Sources /InfluxDB -> Query Language" InfluxQL oder Flux ausgewählt?
Leider läuft bei mir InfluxQL nicht sondern nur Flux (mit token).
Über Info oder auch Tipps wäre ich dankbar.

[laserdoktor]

Ich habe es auch mit Telegraf gelöst:
###############################################################################

OUTPUT PLUGINS

###############################################################################

Configuration for sending metrics to InfluxDB

[[outputs.influxdb]]
urls = ["http://192.168.178.xxx:8086"]
database = "xxxxx"
username = "xxxxx"
password = "xxxxxx"
###############################################################################

INPUT PLUGINS

###############################################################################

# Read metrics from MQTT topic(s)

[[inputs.mqtt_consumer]]
name_override = "OpenDTU"
servers = ["tcp://192.168.178.xxx:1883"]
topics = [
"solar/+/status/+",
"solar/+/0/+",
"solar/+/1/+",
"solar/+/2/+",
"solar/+/3/+",
"solar/+/4/+"
]
data_format = "value"
data_type = "float"
tagexclude = ["host","topic"]

[[inputs.mqtt_consumer.topic_parsing]]
topic = "solar/+/+/+"
tags = "_/serial/channel/field"
[[processors.pivot]]
tag_key = "field"
value_key = "value"

url, database, username und passwort muss angepasst werden,
bei mir sind 4 Panele an HM1500 verbaut, alle WR-Daten landen in der Influxdb

[ropgenoo]

Hallo @Juergen2453 ,
ich mache die Authorisierung über Token, nicht User/Pwd. Und mit InluxDB 2.0 funktioniert meines Wissen auch nur noch Flux.
Das ist zwar etwas gewöhnungsbedürftig, aber machbar. Ich bastel mir meine Queries zunächst mit dem WebEditor von InfluxDB und kopiere im Anschluss das Ergebnis 1:1 ins Grafana Dashboard - das ist relativ simpel. Den WebEditor erreichst Du unter <deine_influxdb_ip>:8086.

Grüße,
Richard

[Juergen2453]

Hallo @ropgenoo ,
leider kann man nicht alles im WebEditor von InfluxDB erstellen um es zu kopieren.
Aber mittlerweile habe ich alles hinbekommen (auch die etwas Komplizierteren anzeigen)
Grüße
Jürgen

[sebther]

Hallo Jürgen!
Ich muss ehrlich sagen, dass ich hier noch keine Erfahrung dazu habe….Sorry.
Liebe Grüße Helmut

[Juergen2453]

Hallo,
danke für eure Antworten.
Wenn ihr Grafana einsetzt, wie meldet ihr euch an? Mit Flux und Token oder InfluxQL mit User und Password

[sebther]

Hallo Jürgen!
Ich verwende Infuxdb 1.8 mit user und PW

Liebe Grüße Helmut

[Juergen2453]

Hallo @sebther
du Glücklicher. Mein Original-System läuft auch auf Influxdb 1.8 und Grafana. Zum Testen und zum ausprobieren habe ich ein zweites System aufgebaut mit Influxdb 2.6.1 mir Authorization = Token. An die Sprache Flux muss man sich erst mal dran gewöhnen.
Nur ein Beispiel von einer einfachen Anzeige:

in 1.8
SELECT last("Watt_1") FROM "D_Z1_db" WHERE time >= now() - 7d and time <= now() GROUP BY time(30m) fill(previous)

in 2.6.1 (ob das alles so richtig ist? Aber was er Anzeigt stimmt)
from(bucket: "HomeMatic")
|> range(start: v.timeRangeStart, stop: v.timeRangeStop)
|> filter(fn: (r) => r["_measurement"] == "D_Z1_db")
|> filter(fn: (r) => r["_field"] == "Watt_1")
|> aggregateWindow(every: v.windowPeriod, fn: last, createEmpty: false)
|> yield(name: "last")

eine Automatische Übernahme oder Konvertierung hab ich noch nicht gefunden.
Und im Moment bin ich am anpassen jede einzelne Anzeige (und ich hab so viele davon).