Hinweis: Schöne Alternative für Charts/Plots mit Grafana und DBLog (MySQL)

Begonnen von Thyraz, 08 Oktober 2017, 15:02:38

Vorheriges Thema - Nächstes Thema

andies

Kannst Du mir mal Deine grafana-server.service zeigen, ich scheine die nicht zu haben:
sudo systemctl enable grafana-server.service
Failed to execute operation: No such file or directory
pi@FHEM:/etc/phpmyadmin $ sudo systemctl enable grafana.service
Failed to execute operation: No such file or directory
pi@FHEM:/etc/phpmyadmin $ sudo systemctl start grafana
Failed to start grafana.service: Unit grafana.service failed to load: No such file or directory.
pi@FHEM:/etc/phpmyadmin $ sudo systemctl start grafana-server
Failed to start grafana-server.service: Unit grafana-server.service failed to load: No such file or directory.
pi@FHEM:/etc/phpmyadmin $ sudo service grafana-server status
● grafana-server.service
   Loaded: not-found (Reason: No such file or directory)
   Active: inactive (dead)


(Grafana selbst lässt sich mit der Hand starten.)
FHEM 6.1 auf RaspPi3 (Raspbian:  6.1.21-v8+; Perl: v5.32.1)
SIGNALduino (433 MHz) und HM-UART (868 MHz), Sonoff, Blitzwolf, Somfy RTS, CAME-Gartentor, Volkszähler, Keyence-Sensor, Homematic-Sensoren und -thermostat, Ferraris-Zähler für Wasseruhr, Openlink-Nachbau Viessmann

Thyraz

Sehr komische Sache, bei mir wurde die automatisch mit dem .deb File mitinstalliert.
Hab die Datei mal angehängt.
Fhem und MariaDB auf NUC6i5SYH in Proxmox Container (Ubuntu)
Zwave, Conbee II, Hue, Harmony, Solo4k, LaMetric, Echo, Sonos, Roborock S5, Nuki, Prusa Mini, Doorbird, ...

screetch82

Hi
ich habe 3 tabellen in einer mysql datenbank. current und history für fhem dblog und eine welche von einem externen datenlogger informationen bezieht. Diese haben leider jedoch  keinen timesamp sondern eine spalte für datum und eine für zeit.

Wie bekomme ich diese entweder automatisch in die fhem history gelinkt oder per grafana in ein dashboard geladen? dann koennt ich in Fhem
einfach die Grafik einladen.

Im Anhang ein screenshot wie die Tabelle aussieht. (diese wird über ein ein skript automatisch aus CSV Datein befüllt.)


SabineT

Zitat von: Thyraz am 12 Oktober 2017, 15:29:18
P.S. Ich hoffe ich störe hier keinen mit meinem Monolog. ;D
Aber ich dachte wenn ich mir das als MySQL Noob schon alles hart ergooglen erarbeiten muss,
kann ich es ja wenigstens für die Nachwelt festhalten...
Vielleicht kannst du dafür ja mal eine eigene Seite im FHEM-Wiki erstellen ;-)

peterk_de

Hi Thyraz,

ich wollte mich nur kurz für den Tipp und die gute Beschreibung bedanken - das ist EXAKT genau das was ich seit nunmehr 2 Jahren gesucht habe und übertrifft meine persönlichen Erwartungen noch um Längen. Installation und Config super simpel und die Optik / UI ein wahrer Traum! Ich habe daher nun angefangen aus FHEMWEB alle Charts rauszuwerfen und in Grafana umzusetzen.

Peter
FHEM auf Ubuntu-VM / 2xNUC Proxmox Cluster
UI: HomeKit, TabletUI, Grafana
IOdevs: 2xHueBridge, RaspiMatic-CCU, CUL868, 2xHarmonyHub, 6xRaspi-Roomnode mit CO2, VOC und lepresenced
Devices: 107xHomematic(IP), 96xPhilips Hue, 17xTECHEM, 12xBTLE, 8xSONOS, 2xHomeConnect, 1xShelly 3em, 1xNanoleaf ...

andies

Ich fange jetzt mal mit einem Wiki-text an, brauche aber sicher Hilfe.

Siehe https://wiki.fhem.de/wiki/Grafana
FHEM 6.1 auf RaspPi3 (Raspbian:  6.1.21-v8+; Perl: v5.32.1)
SIGNALduino (433 MHz) und HM-UART (868 MHz), Sonoff, Blitzwolf, Somfy RTS, CAME-Gartentor, Volkszähler, Keyence-Sensor, Homematic-Sensoren und -thermostat, Ferraris-Zähler für Wasseruhr, Openlink-Nachbau Viessmann

andies

Zitat von: fischit am 12 Oktober 2017, 15:28:35
Ich binde mir die Bilder über
http://192.168.2.111:3000/render/dashboard-solo/db/luftdaten?orgId=2&from=now%2Fd&to=now&panelId=1&width=750&height=300&tz=UTC%2B02%3A00
ein.
Aber wie lädst Du das dann in FHEM?
FHEM 6.1 auf RaspPi3 (Raspbian:  6.1.21-v8+; Perl: v5.32.1)
SIGNALduino (433 MHz) und HM-UART (868 MHz), Sonoff, Blitzwolf, Somfy RTS, CAME-Gartentor, Volkszähler, Keyence-Sensor, Homematic-Sensoren und -thermostat, Ferraris-Zähler für Wasseruhr, Openlink-Nachbau Viessmann

Thyraz

Für FHEMWEB wäre wahrscheinlich Weblink eine Lösung.
In FTUI gäbe es das Image Widget
Fhem und MariaDB auf NUC6i5SYH in Proxmox Container (Ubuntu)
Zwave, Conbee II, Hue, Harmony, Solo4k, LaMetric, Echo, Sonos, Roborock S5, Nuki, Prusa Mini, Doorbird, ...

fischit

Zitat von: andies am 14 November 2017, 15:32:41
Aber wie lädst Du das dann in FHEM?

Richtig - guckst du:
defmod PNG_luftdaten2 weblink image http://192.168.2.111:3000/render/dashboard-solo/db/luftdaten?orgId=2&from=now%2Fd&to=now&panelId=1&width=750&height=300&tz=UTC%2B02%3A00
attr PNG_luftdaten2 htmlattr width="750" height="300" frameborder="0" title="Aktueller Verlauf"

screetch82

Hi

ich mache das mit:

define Grafana_temp weblink iframe http://192.168.178.35:3000/dashboard-solo/db/temp?panelId=1&orgId=1&from=now%2Fd&to=now
attr Grafana_temp htmlattr width="100%" height="300" frameborder="0" marginheight="0" marginwidth="0"
attr Grafana_temp room Grafana

andies

Danke, alles im Wiki eingetragen. Wenn noch Wünsche bestehen, was ich da schreiben solle - bitte los, ich kann aber nicht sofortige Umsetzung garantieren.

Ich habe eine darstellerische Frage. Das ist ja ein tolles Tool, und schnell. Aber kann ich auch in ein Diagramm DREI Größen eintragen, die jeweils unterschiedliche Werte haben? Hintergrund ist folgender. Ich möchte meinen RPi überwachen und dessen Temperatur (30-60), Load average (0 bis 1) und die Frequenz (600 oder 1250) anzeigen.  Ich kriege zwei verschiedene Achsen hin, aber beides? Ich könnte höchstens die Frequenz "umrechnen" (zB auf Load Average - also 600 entspricht 0 und 1250 entspricht 1) und so zusammen mit diesen Werten anzeigen, ist das der einzige Weg?

PS So was scheint nicht zu gehen
SELECT
  UNIX_TIMESTAMP(TIMESTAMP) as time_sec,
  (CONVERT(VALUE, DOUBLE)-600)/650 as value,
   "Frequenz" as metric
FROM history
WHERE  READING="cpu_freq" AND DEVICE="sysmon" and $__timeFilter(TIMESTAMP)
ORDER BY timestamp ASC
FHEM 6.1 auf RaspPi3 (Raspbian:  6.1.21-v8+; Perl: v5.32.1)
SIGNALduino (433 MHz) und HM-UART (868 MHz), Sonoff, Blitzwolf, Somfy RTS, CAME-Gartentor, Volkszähler, Keyence-Sensor, Homematic-Sensoren und -thermostat, Ferraris-Zähler für Wasseruhr, Openlink-Nachbau Viessmann

peterk_de

andies, so wie ich das sehe, ist das graph-panel tatsächlich auf 2 Achsen limitiert und das der einzige Weg.

Das Potential dieses Tools ist insgesamt dennoch gewaltig. Zumal es per iframe auch super mit FHEMWEB harmoniert. Ich habe grad mal das Carpet-Plot (Panel-Plugin) mit diversen Temperatursensoren ausprobiert 8) ... Ladezeit für so ein äußerst interessantes Plot für ein ganzes Jahr (!!) mit stundenweisem Average liegt bei < 15 Sekunden!! (Intel NUC). Jetzt weiß ich endlich wozu ich über all die Jahre soviele Daten weggeloggt habe ohne sie in FHEM anzuzeigen (weils nicht gescheit ging).

Discrete Plugin geht auch mit kleinem Trick (man muss die String-Werte aus den readings erst wieder per SQL Select case in Zahlen Mappen und im Plugin wieder zurück).

Also dieses Tool verdoppelt schlagartig  den Nutzen von FHEM für mich - ohne zu übertreiben.
FHEM auf Ubuntu-VM / 2xNUC Proxmox Cluster
UI: HomeKit, TabletUI, Grafana
IOdevs: 2xHueBridge, RaspiMatic-CCU, CUL868, 2xHarmonyHub, 6xRaspi-Roomnode mit CO2, VOC und lepresenced
Devices: 107xHomematic(IP), 96xPhilips Hue, 17xTECHEM, 12xBTLE, 8xSONOS, 2xHomeConnect, 1xShelly 3em, 1xNanoleaf ...

sash.sc

Mal ne kurze zwischen Frage.
Ist dblog Voraussetzung? Oder geht es auch mit den Standart logs?

Gruß Sascha

Gesendet von meinem E6653 mit Tapatalk

Raspi 4B+ Bullseye ;LaCrosse; HomeMatic; MapleCUL; ZigBee; Signalduino ESP32 ; Shellys; MQTT2; Grafana mit Influxdb

sku

Zitat von: peterk_de am 14 November 2017, 22:28:30
Ladezeit für so ein äußerst interessantes Plot für ein ganzes Jahr (!!) mit stundenweisem Average liegt bei < 15 Sekunden!! (Intel NUC).

Hast du schon die von mir genutzte (und hauptsächlich von Thyraz entwickelte, danke nochmal!) Methode, welche in #19 beschrieben ist, probiert? Ein Jahr von 4 Räumen läd bei mir in unter 30sec, Screenshot von einem Raum ist in #19 angehängt. Gefällt mir besser als ein Durchschnittswert, vorallem bei Ventilpositionen.
Für Batteriespannungen nutze ich die Methode ebenfalls, 4 Jahre von 8 Geräten ebenfalls in einigen Sekunden erledigt.
Intel i7-4771, MariaDB auf SSD

peterk_de

Huhu sku,

jo das probier ich gern mal aus, hab aber bislang nirgends Perfomanceprobleme verspürt, im Gegenteil.

Hier mal das besagte Carpet-Plot, Ladezeit 13 Sekunden auf NUC5i5 bei 2 Jahren und Logging alle 3 Minuten. Das Plugin ist echt nützlich für diverse Statistiken. Hier sieht man prima wann die und wie heiß Sommer in diesem und letzten Jahr waren ... und auch wie oft mein FHEM-Server eine Downtime hatte, inkl. Totalausfall von DBLOG über ein paar Wochen Anfang des Jahres ^^.

Verwendeter SQL-Code dazu (wie beim normalen Kurvenplot):

SELECT
  UNIX_TIMESTAMP(TIMESTAMP) as time_sec,
  VALUE as value,
  "Außentemperatur" as metric
FROM history
WHERE READING="temperature" AND DEVICE="wohnung.aussenthermometer" AND $__timeFilter(TIMESTAMP)
FHEM auf Ubuntu-VM / 2xNUC Proxmox Cluster
UI: HomeKit, TabletUI, Grafana
IOdevs: 2xHueBridge, RaspiMatic-CCU, CUL868, 2xHarmonyHub, 6xRaspi-Roomnode mit CO2, VOC und lepresenced
Devices: 107xHomematic(IP), 96xPhilips Hue, 17xTECHEM, 12xBTLE, 8xSONOS, 2xHomeConnect, 1xShelly 3em, 1xNanoleaf ...