Modul 93_DbRep - Reporting und Management von Datenbankinhalten (DbLog)

[DS_Starter]

Gut, jetzt setzen:

dumpCompress 1  -> die Dumfiles werden komprimiert
fastStart 1            -> Device verbindet sich erst mit der DB wenn es eine Aufgabe erledigen soll

Dann Backup starten mit

set Rep.SQLite.Backup dumpSQLite

-> Backup startet

Was zeigt das Logfile ?

[dk3572]

habe nach wiki konfiguriert:

Code Auswählen Erweitern

CFGFN     
   DATABASE   /opt/fhem/fhem.db
   DEF        logdb
   FUUID      5ec2c4f7-f33f-cd72-91f5-f58c6964ed304ce0
   FVERSION   93_DbRep.pm:v8.40.0-s21546/2020-03-30
   LASTCMD    dumpSQLite
   MODEL      Client
   NAME       Rep.SQLite.Backup
   NOTIFYDEV  global,Rep.SQLite.Backup
   NR         40732
   NTFY_ORDER 50-Rep.SQLite.Backup
   ROLE       Client
   STATE      Warning - dump finished, but command message after dump appeared
   TYPE       DbRep
   UTF8       0
   HELPER:
     DBLOGDEVICE logdb
     IDRETRIES  3
     MINTS      2020-04-13 21:54:39
     PACKAGE    main
     VERSION    8.40.0
     DBREPCOL:
       COLSET     1
       DEVICE     64
       EVENT      512
       READING    64
       TYPE       64
       UNIT       32
       VALUE      128
   Helper:
     DBLOG:
       state:
         logdb:
           TIME       1589825103.96432
           VALUE      Warning - dump finished, but command message after dump appeared
   OLDREADINGS:
   READINGS:
     2020-05-18 20:05:03   DumpFileCreated ./log/fhem_2020_05_18_20_05.sqlitebkp
     2020-05-18 20:05:03   DumpFileCreatedSize 452.95 MB
     2020-05-18 20:05:03   DumpRowsCurrent n.a.
     2020-05-18 20:05:03   DumpRowsHistory n.a.
     2020-05-18 20:05:03   afterdump_message Reopen executed.
     2020-05-18 20:05:03   background_processing_time 14.3588
     2020-05-18 20:05:03   state           Warning - dump finished, but command message after dump appeared
Attributes:
   devStateIcon connected:10px-kreis-gelb .*disconnect:10px-kreis-rot .*done:10px-kreis-gruen
   event-on-update-reading state
   executeAfterProc set logdb reopen
   executeBeforeProc set logdb reopen 3600
   optimizeTablesBeforeDump 1
   room       Photovoltaik
   showproctime 1
   verbose    3

Code Auswählen Erweitern

2020.05.18 20:04:49.523 3: DbRep Rep.SQLite.Backup - ################################################################
2020.05.18 20:04:49.524 3: DbRep Rep.SQLite.Backup - ###                    New SQLite dump                       ###
2020.05.18 20:04:49.524 3: DbRep Rep.SQLite.Backup - ################################################################
2020.05.18 20:04:49.524 3: DbRep Rep.SQLite.Backup - execute command before dump: 'set logdb reopen 3600'
2020.05.18 20:04:49.596 3: DbRep Rep.SQLite.Backup - Size of database /opt/fhem/fhem.db before optimize (MB): 479
2020.05.18 20:04:49.596 3: DbRep Rep.SQLite.Backup - VACUUM database /opt/fhem/fhem.db....
2020.05.18 20:05:00.501 3: DbRep Rep.SQLite.Backup - Size of database /opt/fhem/fhem.db after optimize (MB): 453
2020.05.18 20:05:00.502 3: DbRep Rep.SQLite.Backup - Starting dump of database 'fhem.db'
2020.05.18 20:05:03.940 3: DbRep Rep.SQLite.Backup - Size of backupfile: 452.95 MB
2020.05.18 20:05:03.942 3: DbRep Rep.SQLite.Backup - Finished backup of database fhem - total time used (hh:mm:ss): 00:00:14
2020.05.18 20:05:03.956 2: DbRep Rep.SQLite.Backup - command message after dump: "Reopen executed."
2020.05.18 20:05:03.966 3: DbRep Rep.SQLite.Backup - Database dump finished successfully.

...habe übrigens auch in den asynchronen Modus geschaltet.
Kann das bleiben od. soll ich das wieder ändern?

[DS_Starter]

sehr gut ! 

Kann das bleiben od. soll ich das wieder ändern?

Kann so bleiben. Sollte sogar.

Jetzt kannst du mit einem at (DOIF) regelmäßig Backups deiner DB machen.
FHEM kann laufen. Diese Sicherungen können online gemacht werden und sind valide.

Mit "restoreSQLite" kannst du dir einen Stand wieder zurückladen.


Jetzt zu deiner Filesicherung.
Ich  denke mit

Code Auswählen Erweitern

tar -tzf <Archiv>.tar.gz | grep fhem.db

müsstest du sehen ob das File drin ist

[dk3572]

Ausgabe lautet:

./fhem.db
./fhem.db-shm
./fhem.db-wal

also wohl Pech gehabt.

[DS_Starter]

Im Gegenteil, die Datei(en) sind offensichtil drin. Frage nur ob sie brauchbar sind.
Wir müssen sie jetzt unter einen anderen Namen wieder entpacken.
Muß mal googeln .... nutze ich so nicht ...

[dk3572]

sollte hier eigentlich noch etwas angepasst werden?

Code Auswählen Erweitern

COLUMNS    field length used for Device: 64, Type: 64, Event: 512, Reading: 64, Value: 128, Unit: 32
   CONFIGURATION ./db.conf
   DEF        ./db.conf .*:.*
   FUUID      5eb961f7-f33f-cd72-b3f6-f6ca8383a8350f4c
   FVERSION   93_DbLog.pm:v4.9.12-s21801/2020-04-29
   MODE       asynchronous
   MODEL      SQLITE
   NAME       logdb
   NR         423
   NTFY_ORDER 50-logdb
   PID        32441
   REGEXP     .*:.*
   STATE      connected
   TYPE       DbLog
   dbconn     SQLite:dbname=/opt/fhem/fhem.db
   dbuser     
   HELPER:
     COLSET     1
     DEVICECOL  64
     EVENTCOL   512
     OLDSTATE   connected
     PACKAGE    main
     READINGCOL 64
     TC         current
     TH         history
     TYPECOL    64
     UNITCOL    32
     VALUECOL   128
     VERSION    4.9.12
   Helper:
     DBLOG:
       state:
         logdb:
           TIME       1589825089.56124
           VALUE      closed until 21:04:49 (3600 seconds)
   READINGS:
     2020-05-18 20:27:52   CacheUsage      92
     2020-05-18 20:27:36   NextSync        2020-05-18 20:28:06 or if CacheUsage 500 reached
     2020-05-18 20:27:36   state           connected
Attributes:
   asyncMode  1

[DS_Starter]

sollte hier eigentlich noch etwas angepasst werden?

Was sagt die Ausgabe von "set logdb configCheck"  ?

[dk3572]

Code Auswählen Erweitern

Result of version check

Used Perl version: 5.26.1
Used DBI (Database independent interface) version: 1.64
Used DBD (Database driver) version SQLite: 1.56
Used DbLog version: 4.9.12.
Your local DbLog module is up to date.
Recommendation: No update of DbLog is needed.

Result of configuration read check

Connection parameter store type: file
Connection parameter: Connection -> SQLite:dbname=/opt/fhem/fhem.db, User -> , Password -> read o.k.

Result of connection check

Connection to database /opt/fhem/fhem.db successfully done.
Recommendation: settings o.k.

Result of encoding check

Encoding used by DB /opt/fhem/fhem.db: UTF-8
Recommendation: This is only an information about text encoding used by the main database.

Result of logmode check

Logmode of DbLog-device logdb is: asynchronous
Recommendation: settings o.k.

Result of insert mode check

Insert mode of DbLog-device logdb is: Array
Recommendation: Setting attribute "bulkInsert" to "1" may result a higher write performance in most cases. Feel free to try this mode.

Result of plot generation method check

WARNING - at least one of your FHEMWEB devices has attribute "plotfork = 1" and/or attribute "plotEmbed = 2" not set.

WEB: plotfork=0 / plotEmbed=0
WEBphone: plotfork=0 / plotEmbed=0
WEBtablet: plotfork=0 / plotEmbed=0

Recommendation: You should set attribute "plotfork = 1" and "plotEmbed = 2" in relevant devices. If these attributes are not set, blocking situations may occure when creating plots. Note: Your system must have sufficient memory to handle parallel running Perl processes. See also global attribute "blockingCallMax".


Result of table 'history' check

Column width set in DB history: 'DEVICE' = 64, 'TYPE' = 64, 'EVENT' = 512, 'READING' = 64, 'VALUE' = 128, 'UNIT' = 32
Column width used by logdb: 'DEVICE' = 64, 'TYPE' = 64, 'EVENT' = 512, 'READING' = 64, 'VALUE' = 128, 'UNIT' = 32
Recommendation: settings o.k.

Result of table 'current' check

Column width set in DB current: 'DEVICE' = 64, 'TYPE' = 64, 'EVENT' = 512, 'READING' = 64, 'VALUE' = 128, 'UNIT' = 32
Column width used by logdb: 'DEVICE' = 64, 'TYPE' = 64, 'EVENT' = 512, 'READING' = 64, 'VALUE' = 128, 'UNIT' = 32
Recommendation: settings o.k.

Result of check 'Search_Idx' availability

Index 'Search_Idx' exists and contains recommended fields 'DEVICE', 'READING', 'TIMESTAMP'.
Recommendation: settings o.k.

Result of check 'Report_Idx' availability for DbRep-devices

Index 'Report_Idx' exists and contains recommended fields 'TIMESTAMP', 'READING'.
Recommendation: settings o.k.

[DS_Starter]

Sieht doch gut aus. Kannst noch

attr bulkInsert 1

setzen und auch deine FHEMWEB Devices bzgl. der SVG-Erstellung optimieren:

Result of plot generation method check

WARNING - at least one of your FHEMWEB devices has attribute "plotfork = 1" and/or attribute "plotEmbed = 2" not set.

WEB: plotfork=0 / plotEmbed=0
WEBphone: plotfork=0 / plotEmbed=0
WEBtablet: plotfork=0 / plotEmbed=0

Recommendation: You should set attribute "plotfork = 1" and "plotEmbed = 2" in relevant devices. If these attributes are not set, blocking situations may occure when creating plots. Note: Your system must have sufficient memory to handle parallel running Perl processes. See also global attribute "blockingCallMax".

[dk3572]

ok, alles gemacht.

Schon Ergebnisse vom googeln?

Falls man es nicht wieder herstellen kann, wie bekomme ich die Warnungen von Rep.STP5000.Erzeugung.Monat + Rep.STP5000.Erzeugung.Jahr wieder weg?

Oder erledigt sich das morgen von selbst?

[DS_Starter]

Die Datei aus dem tar entpacken sollte so gehen

tar -zxvf <Archiv>.tar.gz -O ./fhem.db > /opt/fhemold.db
tar -zxvf <Archiv>.tar.gz -O ./fhem.db-shm > /opt/fhemold.db-shm
tar -zxvf <Archiv>.tar.gz -O ./fhem.db-wal > /opt/fhemold.db-wal

[dk3572]

dieter@intelnuc:~$ sudo tar -zxvf FHEM-20200517_080519.tar.gz -O ./fhem.db > /opt/fhemold.db
-bash: /opt/fhemold.db: Permission denied

Ich denke wir versuchen Morgen weiter unser Glück.

Was ist mit den bestehenden Warnungen?
Sind die nach dem Tageswechsel weg?
Oder muss noch mehr gelöscht werden?

[DS_Starter]

Ich denke wir versuchen Morgen weiter unser Glück.

Können wir machen.

Was ist mit den bestehenden Warnungen?

Welche sind das nochmal genau ?

[dk3572]

Falls man es nicht wieder herstellen kann, wie bekomme ich die Warnungen von Rep.STP5000.Erzeugung.Monat + Rep.STP5000.Erzeugung.Jahr wieder weg?

Datenbank ist ja wohl futsch.

Alle Daten in der Datenbank löschen und ab Morgen neu?

[DS_Starter]

Datenbank ist ja wohl futsch.

Das wissen wir erst wenn die Daten aus der alten DB nicht mehr rausgelesen werden können.

Falls man es nicht wieder herstellen kann, wie bekomme ich die Warnungen von Rep.STP5000.Erzeugung.Monat + Rep.STP5000.Erzeugung.Jahr wieder weg?

Ja weiß ich ... nur welche Warnungen sind das ? Die Diff - Warnungen ?