Modul 93_DbRep - Reporting und Management von Datenbankinhalten (DbLog)

[dk3572]

Code Auswählen Erweitern

DATABASE   /opt/fhem/fhem.db
   DEF        logdb
   FUUID      5eb9790a-f33f-cd72-259f-ccd2fe26eab837c6
   FVERSION   93_DbRep.pm:v8.40.0-s21546/2020-03-30
   LASTCMD    sumValue
   MODEL      Client
   NAME       Rep.SMAEM.Einspeisung.Monat
   NOTIFYDEV  global,Rep.SMAEM.Einspeisung.Monat
   NR         427
   NTFY_ORDER 50-Rep.SMAEM.Einspeisung.Monat
   ROLE       Client
   STATE      done
   TYPE       DbRep
   UTF8       0
   HELPER:
     DBLOGDEVICE logdb
     IDRETRIES  3
     MINTS      2020-04-13 21:54:39
     PACKAGE    main
     SQLHIST   
     UEFN_REGEXP .*:.*
     USEREXITFN setDumEnergy
     VERSION    8.40.0
     CV:
       aggregation no
       aggsec     1
       destr      2020-05-31
       dsstr      2020-05-01
       epoch_seconds_end 1590962399
       mestr      05
       msstr      05
       testr      23:59:59
       tsstr      00:00:00
       wdadd      259200
       yestr      2020
       ysstr      2020
     DBREPCOL:
       COLSET     1
       DEVICE     64
       EVENT      512
       READING    64
       TYPE       64
       UNIT       32
       VALUE      128
   Helper:
     DBLOG:
       state:
         logdb:
           TIME       1589955942.62236
           VALUE      done
   OLDREADINGS:
   READINGS:
     2020-05-20 08:25:42   2020-05-01__SMA_Zaehler__Einspeisung_WirkP_Zaehler_Diff__SUM__no_aggregation 441.4257
     2020-05-20 08:25:42   background_processing_time 0.0505
     2020-05-20 08:25:42   sql_processing_time 0.0495
     2020-05-20 08:25:42   state           done
Attributes:
   aggregation no
   devStateIcon connected:10px-kreis-gelb .*disconnect:10px-kreis-rot .*done:10px-kreis-gruen
   device     SMA_Zaehler
   event-on-update-reading state
   reading    Einspeisung_WirkP_Zaehler_Diff
   room       Photovoltaik
   showproctime 1
   timeout    180
   timestamp_begin current_month_begin
   timestamp_end current_month_end
   userExitFn setDumEnergy .*:.*
   verbose    2

Code Auswählen Erweitern

DATABASE   /opt/fhem/fhem.db
   DEF        logdb
   FUUID      5eb97981-f33f-cd72-5c15-46c14b9754c5f0b3
   FVERSION   93_DbRep.pm:v8.40.0-s21546/2020-03-30
   LASTCMD    diffValue
   MODEL      Client
   NAME       Rep.STP5000.Erzeugung.Monat
   NOTIFYDEV  global,Rep.STP5000.Erzeugung.Monat
   NR         428
   NTFY_ORDER 50-Rep.STP5000.Erzeugung.Monat
   ROLE       Client
   STATE      done
   TYPE       DbRep
   UTF8       0
   HELPER:
     DBLOGDEVICE logdb
     IDRETRIES  3
     MINTS      2020-04-13 21:54:39
     PACKAGE    main
     SQLHIST   
     UEFN_REGEXP .*:.*
     USEREXITFN setDumEnergy
     VERSION    8.40.0
     CV:
       aggregation no
       aggsec     1
       destr      2020-05-31
       dsstr      2020-05-01
       epoch_seconds_end 1590962399
       mestr      05
       msstr      05
       testr      23:59:59
       tsstr      00:00:00
       wdadd      259200
       yestr      2020
       ysstr      2020
     DBREPCOL:
       COLSET     1
       DEVICE     64
       EVENT      512
       READING    64
       TYPE       64
       UNIT       32
       VALUE      128
   Helper:
     DBLOG:
       state:
         logdb:
           TIME       1589955942.54029
           VALUE      done
   OLDREADINGS:
   READINGS:
     2020-05-20 08:25:42   2020-05-20_08-24-46__SMA_Wechselrichter__etotal__DIFF__no_aggregation 326.9490
     2020-05-20 08:25:42   background_processing_time 0.1381
     2020-05-20 08:25:42   sql_processing_time 0.0739
     2020-05-20 08:25:42   state           done
Attributes:
   aggregation no
   devStateIcon connected:10px-kreis-gelb .*disconnect:10px-kreis-rot .*done:10px-kreis-gruen
   device     SMA_Wechselrichter
   event-on-update-reading state
   reading    etotal
   room       Photovoltaik
   showproctime 1
   timeout    180
   timestamp_begin current_month_begin
   timestamp_end current_month_end
   userExitFn setDumEnergy .*:.*
   verbose    2

[DS_Starter]

Ok. Jetzt mal bitte ein fetchrows bei Rep.SMAEM.Einspeisung.Monat und den list zeigen. Können sehr viele Werte sein. Mal schauen was geht.

[DS_Starter]

So wird das nix Dieter 
Wenn du magst schlage ich dir vor dass wir mal heute Nachmittag zusammen telefonieren und ggf. eine Teamviewer Session machen.
Aber ich gehe davon aus., dass sich zum Monatswechsel das Problem erledigt.

[dk3572]

es klappt nicht, weil das "code einfügen" hier im Forum nicht mehr zulässt.

Gibt es noch eine Möglichkeit dir das list zukommen zu lassen?

Zum Monatswechsel ist es im Monat behoben, aber ich vermute bei der Jahres Bilanz nicht.

[DS_Starter]

Das ist richtig. Frage ist woher die Differenz kommt.
In diesen beiden Devices kannst du mal bitte

get <name> minTimestamp

ausfürhen. Welche Ergebnisse zeigen die beiden ?

[dk3572]

Einspeisung

Code Auswählen Erweitern

READINGS:
     2020-05-20 09:18:56   background_processing_time 0.0019
     2020-05-20 09:18:56   sql_processing_time 0.0007
     2020-05-20 09:18:56   state           done
     2020-05-20 09:18:56   timestamp_oldest_dataset 2020-04-13 21:54:39

Erzeugung

Code Auswählen Erweitern

READINGS:
     2020-05-20 09:20:07   background_processing_time 0.0019
     2020-05-20 09:20:07   sql_processing_time 0.0008
     2020-05-20 09:20:07   state           done
     2020-05-20 09:20:07   timestamp_oldest_dataset 2020-04-13 21:54:39

[DS_Starter]

Damit gibt es für beide den gleich Startzeitpunkt.
Jetzt müsste man noch herausbekommen ob bei einem von beiden in der Zeitschiene einen GAP hat.
Den könnte man mit einem zusätzlichen DAtensatz in der DB korrigieren.
Aber das kann man sich quasi nur online anschauen.
Vielleicht bekommst du etwas heraus wenn du dir die DAten per fetchrows durchschaust und irgendwo Unregelmäßigkeiten feststellst. Die könntest du mir nochmal zeigen.

Damit du mehr Daten (alle) anzeigen kannst, stellst du dir das Attribut "limit" auf zum Beispiel 6000 um 6000 Readings anzeigen zu können. Antwortzeit beachten ...

[DS_Starter]

Mir ist noch etwas eingefallen.
Zeig mir doch bitte ein list von dem Rep.tempSQLITE DbRep  gestern mit dem wir den Export nach export.csv gemacht haben.

[dk3572]

Unregelmäßigkeiten zu erkennen ist aussichtslos. Ich sehe da nix.

Was denkst du habe ich mit dem Rep.tempSQLITE DbRep gemacht? 

Gelöscht natürlich.

[DS_Starter]

Soso 
Na vllt. gibt es das export.csv noch. Poste doch mal daraus einen Auschnitt, vllt. die ersten 200 -500 Zeilen.

[dk3572]

sorry, musste zwischendrin tatsächlich noch was arbeiten 

Die export.csv gibt es noch.
Daraus die ersten ca. 500 Zeilen?
Da ist doch der ganze log von fhem enthalten???

Und hierzu gleich die nächste Frage.
Sollte man das Loggen nicht besser nur auf Einspeisung und Erzeugung usw. beschränken?

[DS_Starter]

sorry, musste zwischendrin tatsächlich noch was arbeiten 

geht mir auch so 

Daraus die ersten ca. 500 Zeilen?
Da ist doch der ganze log von fhem enthalten???

Genau das wolte ich checken ob dort alles drin ist, oder vllt. nur SMA_Energymeter oder der WR.

Sollte man das Loggen nicht besser nur auf Einspeisung und Erzeugung usw. beschränken?

Kommt drauf an was du sonst noch auswertest. Ich logge auch andere Dinge die ich benötige und grenze diese Dinge in den DbReps über die attribute device, reading ab. Teilweise nutze ich auch separate Datenbanken, z.B. für Events die ich über Log2Syslog als Collector von anderen Nicht-FHEM Devices (z.B. WLAN Access Points) sammle.

Kommt eben auf dein Gesamtkonzept an.

[dk3572]

was ist ein "Gesamtkonzept" 

Also, es steht alles drin, nicht nur SMA...
Soll ich es noch posten?

[DS_Starter]

Ja, gerne. Mal einen Blick riskieren.

[flummy1978]

Hey Ihr zwei,

sorry dass ich Eure traute Zweisamkeit hier ein wenig stören muss, aber auch wenn ich es jetzt nicht komplett gelesen habe:

Macht es Sinn den Beitrag hier mit der Anleitung voll zu machen ? - Wenn dort etwas wichtiges in den letzten 8 Seiten passiert ist, dann nehme ich alles zurück und behaupte das Gegenteil    Aber wenn dort "nur die Anleitung der Datenrettung" drin ist. Dann macht es für andere Forumsteilnehmer keinen bzw den Gegenteiligen Sinn.
Wenn ich einen Beitrag den ich beobachte (zu einem Modul das mich interessiert) sehe und dort innerhalb von 2 Tagen 8 Seiten dazu gekommen sind, dann befürchte ich erstmal ein Riesenproblem dort.....

Bitte nicht böse nehmen, ist nicht böse gemeint, sondern eher die Hoffnung einen Thread wie diesen, der zu einem Super Modul gehört, auch übersichtlicher zu lassen ... Mir hat die Suche hier schon das ein oder andere mal geholfen ... das geht nur wenn gewisse Befehle nicht zig mal auftauchen

Drücke dennoch weiter die Daumen, dass die Datenrettung erfolgreich verläuft 

Viele Grüße
Andreas