FHEM Forum

FHEM => Frontends => SVG / Plots / logProxy => Thema gestartet von: Gisbert am 09 Juni 2018, 18:26:36

Titel: [Problem eingegrenzt] Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: Gisbert am 09 Juni 2018, 18:26:36
Hallo,

ich nutze das Modul um Luftdaten aus dem Internet zu beziehen:
defmod Luftqualitaet airquality DENW355
attr Luftqualitaet group Wetter
attr Luftqualitaet icon time_eco_mode
attr Luftqualitaet pollutants NO2,O3,PM10
attr Luftqualitaet room Mobile,Weather
attr Luftqualitaet stateFormat Feinstaub PM10 µg/m³<br/>Ozon O3 µg/m³<br/>NO<sub>2</sub> NO2 µg/m³<br/>Dosis radiation_total µSv/h
attr Luftqualitaet stationO3 DENW079
attr Luftqualitaet stationPM10 DENW079
attr Luftqualitaet stationRadiation 053150002
attr Luftqualitaet userPassODL crypt:0123465678901234567890123456789
attr Luftqualitaet verbose 0


In letzter Zeit kommt es regelmäßig vor, dass die Daten mehrfach geloggt werden.
Das entsprechende Diagramm enthält dann doppelte, oder dreifache Linien für eine darzustellende Größe.

Gibt es eine Möglichkeit das zu umgehen, z.B. entweder das Mehrfachloggen unterbinden oder die doppelten/mehrfachen Daten so aufbereiten, dass nur eine Line entsteht?

Viele Grüße Gisbert
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: amenomade am 09 Juni 2018, 19:09:21
Zuerst muss man wissen, wie genau dei Daten aussehen (sind das mehrere unterschiedliche Werte gleichzeitig? Nacheinander? Vom mehrere Device? usw). Kannst Du bitte die entspr. Log Auszüge posten?
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: Gisbert am 09 Juni 2018, 19:23:49
Hallo amenomade,

die logs kommen mehrfach in Blöcken, z.B. (Ozon bzw. im Log O3) rein.
Der Übersichlichkeit halber habe ich nur die Daten von Ozon / O3 hier rausgeschrieben.
Überwiegend kommen für einen Typ die Daten blockweise rein, nur manchmal einzeln.
Am Ende des hier gezeigten Logs hab ich nicht mehr selektiert, dann siehst du in etwa, welche anderen Daten noch geschrieben werden.
Alle Daten werden von einem einzigen Device erzeugt, wobei Internetdaten abgefragt werden.

2018-06-08_08:13:12 Luftqualitaet O3: 1
2018-06-08_09:13:12 Luftqualitaet O3: 3
2018-06-08_10:13:12 Luftqualitaet O3: 17
2018-06-08_11:13:12 Luftqualitaet O3: 51
2018-06-08_12:13:12 Luftqualitaet O3: 54
2018-06-08_13:13:12 Luftqualitaet O3: 45
2018-06-08_14:13:12 Luftqualitaet O3: 52
2018-06-08_15:13:12 Luftqualitaet O3: 65
2018-06-08_16:13:12 Luftqualitaet O3: 78
2018-06-08_17:13:12 Luftqualitaet O3: 82
2018-06-08_18:13:12 Luftqualitaet O3: 84
2018-06-08_19:13:12 Luftqualitaet O3: 88
2018-06-08_20:13:12 Luftqualitaet O3: 80
2018-06-08_21:13:12 Luftqualitaet O3: 78
2018-06-08_22:13:12 Luftqualitaet O3: 63
2018-06-08_23:13:12 Luftqualitaet O3: 44
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_09:13:12 Luftqualitaet O3: 17
2018-06-09_10:13:12 Luftqualitaet O3: 18
2018-06-09_11:13:12 Luftqualitaet O3: 20
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_09:13:12 Luftqualitaet O3: 17
2018-06-09_10:13:12 Luftqualitaet O3: 18
2018-06-09_11:13:12 Luftqualitaet O3: 20
2018-06-09_07:00:00 Luftqualitaet radiation_total: 0.083
2018-06-09_07:00:00 Luftqualitaet radiation_cosmic: 0.041
2018-06-09_07:00:00 Luftqualitaet radiation_terrestrial: 0.042
2018-06-09_08:00:00 Luftqualitaet radiation_total: 0.089
2018-06-09_08:00:00 Luftqualitaet radiation_cosmic: 0.041
2018-06-09_08:00:00 Luftqualitaet radiation_terrestrial: 0.048
2018-06-09_09:00:00 Luftqualitaet radiation_total: 0.089
2018-06-09_09:00:00 Luftqualitaet radiation_cosmic: 0.041
2018-06-09_09:00:00 Luftqualitaet radiation_terrestrial: 0.048
2018-06-09_10:00:00 Luftqualitaet radiation_total: 0.089
2018-06-09_10:00:00 Luftqualitaet radiation_cosmic: 0.041
2018-06-09_10:00:00 Luftqualitaet radiation_terrestrial: 0.048
2018-06-09_11:00:00 Luftqualitaet radiation_total: 0.084
2018-06-09_11:00:00 Luftqualitaet radiation_cosmic: 0.041
2018-06-09_11:00:00 Luftqualitaet radiation_terrestrial: 0.043
2018-06-09_12:00:00 Luftqualitaet radiation_total: 0.09
2018-06-09_12:00:00 Luftqualitaet radiation_cosmic: 0.041
2018-06-09_12:00:00 Luftqualitaet radiation_terrestrial: 0.049
2018-06-09_12:13:12 Luftqualitaet O3: 30
2018-06-09_13:13:12 Luftqualitaet O3: 60
2018-06-09_14:13:12 Luftqualitaet O3: 84
2018-06-09_15:13:12 Luftqualitaet O3: 90
2018-06-09_16:13:12 Luftqualitaet O3: 105
2018-06-09_17:13:12 Luftqualitaet NO2: 73
2018-06-09_17:13:12 Luftqualitaet O3: 124
2018-06-09_17:13:12 Luftqualitaet PM10: 33
2018-06-09_18:13:12 Luftqualitaet NO2: 77
2018-06-09_18:13:12 Luftqualitaet PM10: 36
2018-06-09_18:13:12 Luftqualitaet O3: 140
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: rudolfkoenig am 09 Juni 2018, 19:49:18
- ich sehe fuer O3 keine doppelten Daten. Falls ich nur die Brille falsch rum habe, dann bitte hilft mir.
- Verstoerend ist der falsch eingefuegte Block ab dem Zeitstempel 2018-06-09_07:00:00, sowas kann FileLog Get und/oder SVG aus dem Tritt bringen. Wie kommt das zustande? Handelt es sich hier um FileLog? Wurde das Gezeigte nachbearbeitet, oder steht das genauso in der Datei?
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: amenomade am 09 Juni 2018, 20:25:39
Ich kann mich auch nicht so eine Log erklären. Fhem logt nach und nach in einer FileLog Datei, und kann nicht um 8 Uhr wieder ein Event von 01:00 Uhr schreiben. Da wurde was gemacht. Neuboot (wobei es auch nicht sowas produzieren sollte, Problem mit dem System, Überarbeitung der Log (Skript?), Merge, o.ä?

Oder arbeitetst Du mit DbLog, und spielst mit der DB (mit dem Cache könnte ich mich auch sowas vorstellen, wenn man es dann irgendwie manipuliert)

Dieses Problem muss beseitigt werden. Dann wird den Plot ohne weiteres funktionieren.
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: Gisbert am 09 Juni 2018, 22:14:13
Hallo,

ich hänge hier den logfile an.
Die Daten aus der 2. Nachricht hatte ich nur insofern verändert, dass ich nur die Einträge für Ozon / O3 stehen gelassen habe, die anderen habe ich gelöscht.
Insofern ist es ein Auszug aus dem Logfile für den Messwert Ozon / O3.
An der log-Datei selbst habe ich gar nichts manipuliert, ich benutze Konfigurationsdateien, nicht DbLog.
Es gab Stromausfälle vor ein paar Tagen, aber nicht heute am 9. Juni.

Wenn man sich diese Daten anschaut, dann sind sie drei- oder viermal zu jeder Zeit vorhanden:
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_09:13:12 Luftqualitaet O3: 17
2018-06-09_10:13:12 Luftqualitaet O3: 18
2018-06-09_11:13:12 Luftqualitaet O3: 20
2018-06-09_00:13:12 Luftqualitaet O3: 34
2018-06-09_01:13:12 Luftqualitaet O3: 50
2018-06-09_02:13:12 Luftqualitaet O3: 48
2018-06-09_04:13:12 Luftqualitaet O3: 37
2018-06-09_05:13:12 Luftqualitaet O3: 27
2018-06-09_06:13:12 Luftqualitaet O3: 12
2018-06-09_07:13:12 Luftqualitaet O3: 7
2018-06-09_08:13:12 Luftqualitaet O3: 17
2018-06-09_09:13:12 Luftqualitaet O3: 17
2018-06-09_10:13:12 Luftqualitaet O3: 18
2018-06-09_11:13:12 Luftqualitaet O3: 20

Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: amenomade am 09 Juni 2018, 22:25:14
Bitte ein "list" von Luftqualitaet, und vom "associated" FileLog Device.

Zitatich benutze Konfigurationsdateien, nicht DbLog.
Das hat keinen Sinn. Man benutzt:
- entweder configDB oder Konfigurationsdateien
in Kombination mit
- entweder DbLog oder Log Dateien

EDIT: was ist das für ein Device? "airquality" hier? https://forum.fhem.de/index.php/topic,68623.0.html. Welche Version davon hast Du?
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: Gisbert am 09 Juni 2018, 23:11:35
Hallo amenomade,

Es handelt sich um das Modul airquality.
Ich benutze die Version:
$Id: 60_airquality.pm 00000 2017-04-08 $$$
Ich hab gesehen, dass es eine neuere Version gibt, die ich aufspielen werde.

Das list des Devices:
Internals:
   CFGFN      ./FHEM/WetterdatenSensorenInternet.cfg
   DEF        DENW355
   NAME       Luftqualitaet
   NR         70
   POLLUTION  Leverkusen Gustav-Heinemann-Str.
   RADIATION  Köln-Weidenpesch
   STATE      Feinstaub 35 µg/m³<br/>Ozon 134 µg/m³<br/>NO<sub>2</sub> 91 µg/m³<br/>Dosis 0.09 µSv/h
   TYPE       airquality
   READINGS:
     2018-06-09 22:13:12   NO2             91
     2018-06-09 22:13:12   O3              134
     2018-06-09 22:13:12   PM10            35
     2018-06-09 18:00:00   radiation_cosmic 0.041
     2018-06-09 18:00:00   radiation_terrestrial 0.049
     2018-06-09 18:00:00   radiation_total 0.09
   helper:
     INTERVAL   3600
     STATION    DENW355
     bm:
       airquality_Get:
         cnt        2
         dmx        -1000
         dtot       0
         dtotcnt    0
         mTS        09.06. 22:55:53
         max        0.000208854675292969
         tot        0.000306844711303711
         mAr:
           HASH(0x2c89740)
           Luftqualitaet
           ?
Attributes:
   group      Wetter
   icon       time_eco_mode
   pollutants NO2,O3,PM10
   room       Mobile,Weather
   stateFormat Feinstaub PM10 µg/m³<br/>Ozon O3 µg/m³<br/>NO<sub>2</sub> NO2 µg/m³<br/>Dosis radiation_total µSv/h
   stationO3  DENW079
   stationPM10 DENW079
   stationRadiation 053150002
   userPassODL crypt:012345678901234567890123456789
   verbose    0


Das List des Filelogs:
Internals:
   CFGFN      ./FHEM/WetterdatenSensorenInternet.cfg
   DEF        ./log/Luftqualitaet-%Y-%m.log Luftqualitaet:.*
   NAME       FileLog_Luftqualitaet
   NOTIFYDEV  Luftqualitaet
   NR         72
   NTFY_ORDER 50-FileLog_Luftqualitaet
   REGEXP     Luftqualitaet:.*
   STATE      active
   TYPE       FileLog
   currentlogfile ./log/Luftqualitaet-2018-06.log
   logfile    ./log/Luftqualitaet-%Y-%m.log
   READINGS:
     2018-06-09 22:24:17   linesInTheFile  1251
   helper:
     bm:
       FileLog_Get:
         cnt        2
         dmx        -1000
         dtot       0
         dtotcnt    0
         mTS        09.06. 22:59:37
         max        4.60147857666016e-05
         tot        8.20159912109375e-05
         mAr:
           HASH(0x37d65b0)
           FileLog_Luftqualitaet
           ?
       FileLog_Log:
         cnt        24
         dmx        -1000
         dtot       0
         dtotcnt    0
         mTS        09.06. 19:24:14
         max        0.670200109481812
         tot        0.682035684585571
         mAr:
           HASH(0x37d65b0)
           HASH(0x2c89740)
       FileLog_Set:
         cnt        9
         dmx        -1000
         dtot       0
         dtotcnt    0
         mTS        09.06. 23:00:30
         max        0.0047600269317627
         tot        0.0405275821685791
         mAr:
           HASH(0x37d65b0)
           FileLog_Luftqualitaet
           ?
Attributes:
   createGluedFile 1
   logtype    text
   room       Weather


Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: amenomade am 09 Juni 2018, 23:23:30
Ist der Orner ./log ein normales Verzeichnis, oder ist es nur ein Symlink nach irgendwas?

Ich kann mich nicht erklären, warum es nicht chronologisch in der Datei gespeichert wird.
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: Gisbert am 09 Juni 2018, 23:28:32
Hallo amenomade,

der Ordner ./log ist eine normales Verzeichnis auf dem RPi: /opt/fhem/log

Viele Grüße Gisbert
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: amenomade am 09 Juni 2018, 23:30:01
Hast Du andere Meldungen in der Fhem Log?
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: Gisbert am 10 Juni 2018, 00:07:33
Nein, nicht im Zusammenhang mit dem Modul 60_airquality.pm.
Ich beobachte den FileLog und das Diagramm in der nächsten Zeit.
Vielleicht ist die aktuelle Version des Moduls besser geeignet.
Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: rudolfkoenig am 10 Juni 2018, 18:01:46
ZitatFhem logt nach und nach in einer FileLog Datei, und kann nicht um 8 Uhr wieder ein Event von 01:00 Uhr schreiben.
Das ist moeglich, wenn man das (kaum bekannte) Feature CHANGETIME verwendet, so wie 60_airquality.pm das offensichtlich tut.
Mit CHANGETIME kann man zu jedem Ereignis das dazugehoerige Zeitstempel angeben.
Ich fuerchte das Problem muss in 60_airquality.pm adressiert werden.

Titel: Antw:Mehrfach geloggte Daten ergeben unschöne Diagramme
Beitrag von: Markus M. am 10 Juni 2018, 20:56:15
Ist so wie Rudi es gesagt hat.
CHANGETIME ist die einzig mir bekannte Möglichkeit, Datenreihen aus der Cloud ins FHEM Log zu übertragen.
Und an irgendeiner Stelle läuft dabei was falsch.

Da das Modul von mir aber nicht mehr aktiv gepflegt wird, muss sich jemand anders drum kümmern.
Idealerweise jemand, der das Modul auch selbst benutzt.