Modul 93_DbRep - Reporting und Management von Datenbankinhalten (DbLog)

[dk3572]

diff_overrun_limit_20     2020-05-17 20:57:41 0.0010 -> 2020-05-18 04:55:24 4294511.3370 ||

je bei Monat + Jahr

[DS_Starter]

Wenn du diese Auswertungen jetzt laufen lässt, kommen diese Warnungen nicht mehr.

Alle Daten in der Datenbank löschen und ab Morgen neu?

NEIN !
Du hast jetzt eine laufende Datenbank die du regelmäßig sicherst. Mit der machst du ganz normal weiter.

Die Daten aus der alten DB holen wir (wenn möglich) heraus und importieren sie in der aktuell laufenden produktiven Datenbank.
Dazu werden die Dateien unter einem anderen Namen aus dem Archiv geholt, ein temporäres DbLog/DbRep angelegt, die Daten exportiert sofern möglich und in die aktuell laufende importiert. DAmit wäre alles wieder io.

Das  ist der Plan.

[dk3572]

Auswertung laufen lassen, Warnung noch da.

Morgen geht´s weiter.

Vielen Dank noch mal und eine angenehme Nacht.
Bis Morgen....

[DS_Starter]

Also jetzt verstehe ich Bahnhof. Wenn genau diese

2020-05-17 20:57:41 0.0010 -> 2020-05-18 04:55:24 4294511.3370 ||

Warnungen noch da sind, würden die Datensätze ja noch existieren 

Naja, vielleicht doch schon zu spät .... bis morgen.

LG,
Heiko

[dk3572]

Hallo Heiko,

auf ein Neues 

Hier die beiden DbRep mit den Warnungen:

Code Auswählen Erweitern

DATABASE   /opt/fhem/fhem.db
   DEF        logdb
   FUUID      5eb97981-f33f-cd72-5c15-46c14b9754c5f0b3
   FVERSION   93_DbRep.pm:v8.40.0-s21546/2020-03-30
   LASTCMD    diffValue
   MODEL      Client
   NAME       Rep.STP5000.Erzeugung.Monat
   NOTIFYDEV  global,Rep.STP5000.Erzeugung.Monat
   NR         428
   NTFY_ORDER 50-Rep.STP5000.Erzeugung.Monat
   ROLE       Client
   STATE      Warning
   TYPE       DbRep
   UTF8       0
   HELPER:
     DBLOGDEVICE logdb
     IDRETRIES  3
     MINTS      2020-04-13 21:54:39
     PACKAGE    main
     UEFN_REGEXP .*:.*
     USEREXITFN setDumEnergy
     VERSION    8.40.0
     CV:
       aggregation no
       aggsec     1
       destr      2020-05-31
       dsstr      2020-05-01
       epoch_seconds_end 1590962399
       mestr      05
       msstr      05
       testr      23:59:59
       tsstr      00:00:00
       wdadd      259200
       yestr      2020
       ysstr      2020
     DBREPCOL:
       COLSET     1
       DEVICE     64
       EVENT      512
       READING    64
       TYPE       64
       UNIT       32
       VALUE      128
   Helper:
     DBLOG:
       state:
         logdb:
           TIME       1589869866.34035
           VALUE      Warning
   OLDREADINGS:
   READINGS:
     2020-05-19 08:31:06   2020-05-19_08-31-01__SMA_Wechselrichter__etotal__DIFF__no_aggregation 174.9610
     2020-05-19 08:31:06   background_processing_time 0.0754
     2020-05-19 08:31:06   diff_overrun_limit_20 2020-05-17 20:57:41 0.0010 -> 2020-05-18 04:55:24 4294511.3370 ||
     2020-05-19 08:31:06   sql_processing_time 0.0480
     2020-05-19 08:31:06   state           Warning
Attributes:
   aggregation no
   devStateIcon connected:10px-kreis-gelb .*disconnect:10px-kreis-rot .*done:10px-kreis-gruen
   device     SMA_Wechselrichter
   event-on-update-reading state
   reading    etotal
   room       Photovoltaik
   showproctime 1
   timeout    180
   timestamp_begin current_month_begin
   timestamp_end current_month_end
   userExitFn setDumEnergy .*:.*
   verbose    2

Code Auswählen Erweitern

DATABASE   /opt/fhem/fhem.db
   DEF        logdb
   FUUID      5eba3f24-f33f-cd72-2148-2952d1c6b3d2b651
   FVERSION   93_DbRep.pm:v8.40.0-s21546/2020-03-30
   LASTCMD    diffValue
   MODEL      Client
   NAME       Rep.STP5000.Erzeugung.Jahr
   NOTIFYDEV  global,Rep.STP5000.Erzeugung.Jahr
   NR         434
   NTFY_ORDER 50-Rep.STP5000.Erzeugung.Jahr
   ROLE       Client
   STATE      Warning
   TYPE       DbRep
   UTF8       0
   HELPER:
     DBLOGDEVICE logdb
     IDRETRIES  3
     MINTS      2020-04-13 21:54:39
     PACKAGE    main
     UEFN_REGEXP .*:.*
     USEREXITFN setDumEnergy
     VERSION    8.40.0
     CV:
       aggregation no
       aggsec     1
       destr      2020-12-31
       dsstr      2020-01-01
       epoch_seconds_end 1609455599
       mestr      12
       msstr      01
       testr      23:59:59
       tsstr      00:00:00
       wdadd      432000
       yestr      2020
       ysstr      2020
     DBREPCOL:
       COLSET     1
       DEVICE     64
       EVENT      512
       READING    64
       TYPE       64
       UNIT       32
       VALUE      128
   Helper:
     DBLOG:
       state:
         logdb:
           TIME       1589830033.7351
           VALUE      Warning
   OLDREADINGS:
   READINGS:
     2020-05-18 21:27:13   2020-05-18_20-53-47__SMA_Wechselrichter__etotal__DIFF__no_aggregation 171.8660
     2020-05-18 21:27:13   background_processing_time 0.0705
     2020-05-18 21:27:13   diff_overrun_limit_20 2020-05-17 20:57:41 0.0010 -> 2020-05-18 04:55:24 4294511.3370 ||
     2020-05-18 21:27:13   sql_processing_time 0.0434
     2020-05-18 21:27:13   state           Warning
Attributes:
   aggregation no
   devStateIcon connected:10px-kreis-gelb .*disconnect:10px-kreis-rot .*done:10px-kreis-gruen
   device     SMA_Wechselrichter
   event-on-update-reading state
   reading    etotal
   room       Photovoltaik
   showproctime 1
   timeout    180
   timestamp_begin current_year_begin
   timestamp_end current_year_end
   userExitFn setDumEnergy .*:.*
   verbose    2

Demnach funktioniert auch die Anzeige im Dummy für Monat und Jahr nicht.

VG Dieter

[DS_Starter]

Moin Dieter,

na dann los 

Führe im Rep.STP5000.Erzeugung.Jahr mal spasseshalber ein einfaches "fetchrows" aus.
Was zeigt das ?

[dk3572]

Code Auswählen Erweitern

DATABASE   /opt/fhem/fhem.db
   DEF        logdb
   FUUID      5eba3f24-f33f-cd72-2148-2952d1c6b3d2b651
   FVERSION   93_DbRep.pm:v8.40.0-s21546/2020-03-30
   LASTCMD    fetchrows history
   MODEL      Client
   NAME       Rep.STP5000.Erzeugung.Jahr
   NOTIFYDEV  global,Rep.STP5000.Erzeugung.Jahr
   NR         434
   NTFY_ORDER 50-Rep.STP5000.Erzeugung.Jahr
   ROLE       Client
   STATE      <html>done - Warning: present rows exceed specified limit, adjust attribute <a href='https://fhem.de/commandref_DE.html#limit' target='_blank'>limit</a></html>
   TYPE       DbRep
   UTF8       0
   HELPER:
     DBLOGDEVICE logdb
     IDRETRIES  3
     MINTS      2020-04-13 21:54:39
     PACKAGE    main
     UEFN_REGEXP .*:.*
     USEREXITFN setDumEnergy
     VERSION    8.40.0
     CV:
       aggregation no
       aggsec     1
       destr      2020-12-31
       dsstr      2020-01-01
       epoch_seconds_end 1609455599
       mestr      12
       msstr      01
       testr      23:59:59
       tsstr      00:00:00
       wdadd      432000
       yestr      2020
       ysstr      2020
     DBREPCOL:
       COLSET     1
       DEVICE     64
       EVENT      512
       READING    64
       TYPE       64
       UNIT       32
       VALUE      128
   Helper:
     DBLOG:
       state:
         logdb:
           TIME       1589871727.31775
           VALUE      <html>done - Warning
   OLDREADINGS:
   READINGS:
     2020-05-19 09:02:07   2020-05-17_20-39-23__1__SMA_Wechselrichter__etotal 455.947
     2020-05-19 09:02:07   2020-05-17_20-40-24__1__SMA_Wechselrichter__etotal 455.948
     2020-05-19 09:02:07   2020-05-17_20-41-25__1__SMA_Wechselrichter__etotal 455.949
     2020-05-19 09:02:07   2020-05-17_20-43-27__1__SMA_Wechselrichter__etotal 455.95
     2020-05-19 09:02:07   2020-05-17_20-45-29__1__SMA_Wechselrichter__etotal 455.952
     2020-05-19 09:02:07   2020-05-17_20-46-30__1__SMA_Wechselrichter__etotal 455.953
     2020-05-19 09:02:07   2020-05-17_20-48-32__1__SMA_Wechselrichter__etotal 455.954
     2020-05-19 09:02:07   2020-05-17_20-49-33__1__SMA_Wechselrichter__etotal 455.955
     2020-05-19 09:02:07   2020-05-17_20-51-35__1__SMA_Wechselrichter__etotal 455.956
     2020-05-19 09:02:07   2020-05-17_20-53-37__1__SMA_Wechselrichter__etotal 455.957
     2020-05-19 09:02:07   2020-05-17_20-57-41__1__SMA_Wechselrichter__etotal 455.958
     2020-05-19 09:02:07   2020-05-18_04-55-24__1__SMA_Wechselrichter__etotal 4294967.295
     2020-05-19 09:02:07   2020-05-18_05-28-56__1__SMA_Wechselrichter__etotal 455.958
     2020-05-19 09:02:07   2020-05-18_05-58-24__1__SMA_Wechselrichter__etotal 455.959
     2020-05-19 09:02:07   2020-05-18_05-59-25__1__SMA_Wechselrichter__etotal 455.96
     2020-05-19 09:02:07   2020-05-18_06-00-26__1__SMA_Wechselrichter__etotal 455.961
     2020-05-19 09:02:07   2020-05-18_06-01-27__1__SMA_Wechselrichter__etotal 455.962
     2020-05-19 09:02:07   2020-05-18_06-02-28__1__SMA_Wechselrichter__etotal 455.963
.
.
.
     2020-05-19 09:02:07   2020-05-19_08-58-28__1__SMA_Wechselrichter__etotal 502.37
     2020-05-19 09:02:07   2020-05-19_08-59-29__1__SMA_Wechselrichter__etotal 502.429
     2020-05-19 09:02:07   2020-05-19_09-00-29__1__SMA_Wechselrichter__etotal 502.489
     2020-05-19 09:02:07   2020-05-19_09-01-30__1__SMA_Wechselrichter__etotal 502.548
     2020-05-19 09:02:07   background_processing_time 0.0170
     2020-05-19 09:02:07   number_fetched_rows 1000
     2020-05-19 09:02:07   sql_processing_time 0.0147
     2020-05-19 09:02:07   state           <html>done - Warning: present rows exceed specified limit, adjust attribute <a href='https://fhem.de/commandref_DE.html#limit' target='_blank'>limit</a></html>
Attributes:
   aggregation no
   devStateIcon connected:10px-kreis-gelb .*disconnect:10px-kreis-rot .*done:10px-kreis-gruen
   device     SMA_Wechselrichter
   event-on-update-reading state
   reading    etotal
   room       Photovoltaik
   showproctime 1
   timeout    180
   timestamp_begin current_year_begin
   timestamp_end current_year_end
   userExitFn setDumEnergy .*:.*
   verbose    2

[DS_Starter]

Ok, der Datensatz ist noch drin. Das passt dann.
Der erste SAtz in der DB ist vom 2020-05-17_20-39-23, alle davor sind raus, richtig ?

[dk3572]

ich vermute das es der Erste ist,wissen tue ich es nicht.

Leider muss ich jetzt hier unterbrechen.
Ich hoffe weiterhin auf deine super Hilfe und melde mich heute Nachmittag wieder.

VG Dieter

[DS_Starter]

Alles klar .. meldst dich einfach ...
Bis dann.

[DS_Starter]

Hallo Dieter,

habe inzwischen das Entpacken der Dateien aus einem tar Archiv bei mir getestet.

So hat es funktioniert:

Code Auswählen Erweitern

sudo mkdir /opt/temp
sudo chmod 777 /opt/temp     # das ist nur temporär, wir löschen hinterher wieder alles

Entpacken hat auch funktioniert mit

Code Auswählen Erweitern

tar -zxvf test.tar.gz -O opt/fhem.db > /opt/temp/fhemold.db
tar -zxvf test.tar.gz -O opt/fhem.db-shm > /opt/temp/fhemold.db-shm
tar -zxvf test.tar.gz -O opt/fhem.db-wal > /opt/temp/fhemold.db-wal

Dann habe ich eine DB-config Datei /opt/fhem/oldsqlite.conf angelegt mit:

Code Auswählen Erweitern

%dbconfig= (
      connection => "SQLite:dbname=/opt/temp/fhemold.db",
      user => "",
      password => ""
);


Weiterhin ein DbLog definiert, welches aber keinerlei Events in die DB loggt.
Brauchen wir nur damit damit ein DbRep angelegt werden kann:

Code Auswählen Erweitern

define tempSQLITE DbLog ./oldsqlite.conf aaaaaa:bbbbbbbb

Damit nun ein DbRep definiert:

Code Auswählen Erweitern

define Rep.tempSQLITE DbRep tempSQLITE


Wow ... nach kurzer "Denkpause" war der Status "connected".
Kurz ein fetchrows angetestet ... Freude, DB war zugreifbar.

Nun die Daten exportieren. Dazu gibt es das Kommando "exportToFile".
Es exportiert in eine csv-Datei die im Attribut "expimpfile" angegeben wird.
Ich habe gesetzt:

Code Auswählen Erweitern

attr Rep.tempSQLITE expimpfile export.csv


Man kann noch einen Pfad davorsetzen. Ohne Pfad wird des Exportfile in /opt/fhem erzeugt.
Export mit:

Code Auswählen Erweitern

set Rep.tempSQLITE exportToFile

Je nach Umfang dauert das entsprechend. Bei dir wird es schnell gehen.

Am Ende schreibt Rep.tempSQLITE die Anzahl der Datensätze in die Readings die exportiert wurden.
Und es gibt die Datei /opt/fhem/export.csv.

Wenn du bis hierhin gekommen bist sieht es schonmal gut aus. Die Daten importieren wir dann
mit deinem Rep.Report.

Grüße,
Heiko

[dk3572]

Servus Heiko,

bin wieder zurück.

Leider komme ich nur bis hierher:

Code Auswählen Erweitern

dieter@intelnuc:/opt/fhem/backup$ tar -zxvf FHEM-20200517_080519.tar.gz -O opt/fhem.db > /opt/temp/fhemold.db
tar: opt/fhem.db: Not found in archive
tar: Exiting with failure status due to previous errors
dieter@intelnuc:/opt/fhem/backup$


Code Auswählen Erweitern

dieter@intelnuc:/opt/fhem/backup$ tar -tzf FHEM-20200517_080519.tar.gz | grep fhem.db
./fhem.db
./fhem.db-shm
./fhem.db-wal

[DS_Starter]

Hi,

naja, du müsstest deine Pfade einsetzen ... so:

Code Auswählen Erweitern


tar -zxvf test.tar.gz -O ./fhem.db > /opt/temp/fhemold.db
tar -zxvf test.tar.gz -O ./fhem.db-shm > /opt/temp/fhemold.db-shm
tar -zxvf test.tar.gz -O ./fhem.db-wal > /opt/temp/fhemold.db-wal


äh mit deinem Archiv:

Code Auswählen Erweitern


tar -zxvf FHEM-20200517_080519.tar.gz -O ./fhem.db > /opt/temp/fhemold.db
tar -zxvf FHEM-20200517_080519.tar.gz -O ./fhem.db-shm > /opt/temp/fhemold.db-shm
tar -zxvf FHEM-20200517_080519.tar.gz -O ./fhem.db-wal > /opt/temp/fhemold.db-wal


probier mal

[dk3572]

ok, jetzt bin ich soweit:

Wow ... nach kurzer "Denkpause" war der Status "connected".
Kurz ein fetchrows angetestet ... Freude, DB war zugreifbar.

Inhalt kompletter fhem log.

Muss hier noch ein Pfad angegeben werden?

Sorry für die vielen Fragen, blick bald nicht mehr durch 

Wer lesen kann.....
Fhem log vom 17.05.

[DS_Starter]

Alles gut ... tief durchatmen 

fetchrows zeigt dir jetzt also die ganzen Daten wenn ich dirch richtig verstanden habe.

Dann setzt du jetzt für den Export einfach

Code Auswählen Erweitern

attr Rep.tempSQLITE DbRep expimpfile export.csv

Dann landet alles im Pfad /opt/fhem/export.csv.
Sollte bei dir passen denke ich.