Modul 93_DbRep - Reporting und Management von Datenbankinhalten (DbLog)

[JoeALLb]

Guten morgen, sorry,

eigentlich restarte ich immer,  hätte ich mir auch denken können
Sorry!

Den Rest habe ich getestet! Das Backup wird korrekt erstellt! Aufgefallen ist mir folgendes:

1. Als "state" bekomme ich nach genau  1 Minute  "database backup timed out", was beim Serverseitigen Backup nicht viel Sinn macht?!? Das Backup wird jedenfalls trotzdem erstellt.

Code Auswählen Erweitern

2017.06.12 09:08:45 3: DbRep mySqlBackup - Starting dump of database 'fhem', table 'history'.
2017.06.12 09:09:45 1: Timeout for mysql_DoDumpServerSide reached, terminated process 22387
2017.06.12 09:09:45 1: DbRep mySqlBackup -> BlockingCall  timed out
2017.06.12 09:09:45 3: DbRep mySqlBackup - Database dump aborted with timeout !
2. Optimize_Table funktioniert bei serverseitigem Backup nicht. Gibt es dafür einen speziellen Grund? Der Befehl könnte doch auch hier direkt abgesetzt werden?!, sogar als kombinierter Befehl mit dem export...
3. Das Löschen über "dumpFilesKeep=1" habe ich nicht hinbekommen.
Ich habe dazu "dumpDirLocal" und "dumpDirRemote" auf das selbe Verzeichnis gestellt, da es bei mir lokal ja "per definition" das selbe Verzeichnis ist.
Die Berechtigungen sollten korrekt sein, im Logfile finde ich auch mit Verbose5 keinen Eintrag mehr nach dem Timeout aus Punkt1, vielleicht hängt dies zusammen?
   
Bleiben mir noch 1 Wunsch:
1. Ich bräuchte eine Option, die die Backupdateien vor dem Backup löscht (statt nachher) ( da mein USB-Stick immer recht voll wird, sollte das älteste Backup früher gelöscht werden)



herzlichen Dank, beste Grüße
Joe

[DS_Starter]

Setz dir das Timeout Attribut einfach auf einen hohen Wert. Ich möchte nur nicht dass der  geforkte  Prozess ewig rumliegt. Ja, die fehlende Löschung hängt damit zusammen.

Optimize  table hatte ich in dieser Version noch nicht eingebaut. In der nächsten Version, die ich schon fertig habe, ist das auch bei serverSide mit dabei. Will nur noch die Commandref fertig stellen, dann kopiere ich diese V hier rein.

Das vorherige Löschen habe ich extra nicht eingebaut weil man ja nicht weiß ob das Backup erfolgreich beendet wird.
Kommst du nicht damit klar  wenn du dumpFilesKeep  um 1 reduziert ?

Edit: man diese sch... Wortergänzung ....
Grüße
Heiko

[JoeALLb]

1. ok, mein Timeout war einfach zu kurz....
2. Danke
3: hm, anders herum hätte ich halt während der Woche immer ein Backup mehr auf dem Stick zur verfügung, aber ja, auch das habe ich versucht und damit kann ich sicher leben!
3b: Hinweis: dumpFilesKeep löscht die Dateien, wenn ich das Timeout aus #1 hoch genug setze.

Schöne Grüße
Joe

[DS_Starter]

 

Habe die finale Version vllt. Heute Abend mit der Commandref fertig ...

[JoeALLb]

Sorry, noch ein Wunsch ist mir aufgefallen: Wäre es möglich, ein Reading mit der Größe des Backups zu erzeugen? Das würde ich gerne mitloggen und auch auswerten, um zu sehen, ob die Größe mal besonders abweicht oder die Datei zu klein ist.
... Ist aber nur ein Wunsch, ich könnte das im Moment sicher executeAfter erreichen....

[DS_Starter]

Ja dann wars  wieder nichts mit finaler Version  ... Ich schau mal ...

[DS_Starter]

Hallo Joe, @all,

hier ist nun die Version 5.0.5 (erster Beitrag).
Ich habe noch die Ausgabe der Dumpfile-Länge als Reading (DumpFileCreatedSize) hinzugefügt für beide dumpMySQL-Varianten. Für serverSide ist nun auch "optimizeTablesBeforeDump" verfügbar.

Die Commandref ist auch erstellt. Du kannst sie dir lokal generieren mit:

Code Auswählen Erweitern


cd /opt/fhem
sudo perl contrib/commandref_join.pl


Dann ist sie über den Commandref-Link (links im FHEMWEB) lokal aufrufbar.
Ich hoffe man kann die Handhabung beider Varianten auch als Anwender gut auseinanderhalten / verstehen und weiß wie man die einzelnen Attribute einsetzen muß.

Grüße
Heiko

[JoeALLb]

Hallo Heiko,

danke für die Version.
"optimizeTablesBeforeDump" scheint noch nicht ganz zu funktionieren, im Log finde ich lediglich:

Code Auswählen Erweitern

2017.06.13 08:47:48 3: DbRep mySqlBackup - Table 1 `current` optimized successfully.
2017.06.13 08:47:48 3: DbRep mySqlBackup - 1 tables have been optimized.
2017.06.13 08:47:48 3: DbRep mySqlBackup - Starting dump of database 'fhem', table 'history'.
2017.06.13 08:47:48 5: DbRep mySqlBackup - Use Outfile: /tmp/fhem_history_2017_06_13_08_47.csv
, was mich vermuten lässt dass eben nur "current" und nicht "history" optimiert wird. "current" ist bei mir gar nicht in verwendung.
Aufgefallen ist mir eben auch, dass es "zu schnell" geht, weshalb ich vermutete, dass die Optimierung nicht stattfindet.

sG
Joe

[DS_Starter]

Hi Joe,

Klappt bei mir einwandfrei. Aber bei dir sieht es mir auch komisch aus. Knipps Mal verbose 5 an.

Grüße
Heiko

[JoeALLb]

Hab ich! Oben im Log sind Verbose5 Einträge enthalten.

[DS_Starter]

Mit verbose 5 kommt bei mir viel mehr. Kann ich jetzt nicht kopieren mit meinem Mobilteil.
Aber da passt etwas nicht. Das ist bestimmt kein verbose 5, sehe auch nur v3 Einträge.

[DS_Starter]

Sorry, hab Tomaten auf den Augen.
Hmmm, komisch.  Welche Engine  hat denn deine history ?

[JoeALLb]

Hier der ganze Block aus dem Log.
Aria aus MariaDB.

Code Auswählen Erweitern

3: DbRep mySqlBackup - ################################################################
3: DbRep mySqlBackup - ###          New database serverSide dump                    ###
3: DbRep mySqlBackup - ################################################################
4: DbRep mySqlBackup -> Start BlockingCall mysql_DoDumpServerSide
5: DbRep mySqlBackup - current query: SHOW TABLE STATUS FROM `fhem`
3: DbRep mySqlBackup - Searching for tables inside database fhem....
5: DbRep mySqlBackup - ......... Table definition found: .........
5: DbRep mySqlBackup - Avg_row_length: 82
5: DbRep mySqlBackup - Check_time: 2014-11-12 13:08:35
5: DbRep mySqlBackup - Collation: latin1_swedish_ci
5: DbRep mySqlBackup - Comment:
5: DbRep mySqlBackup - Create_options:
5: DbRep mySqlBackup - Create_time: 2014-10-12 10:08:40
5: DbRep mySqlBackup - Data_free: 112
5: DbRep mySqlBackup - Data_length: 34264
5: DbRep mySqlBackup - Engine: MyISAM
5: DbRep mySqlBackup - Index_length: 1024
5: DbRep mySqlBackup - Max_data_length: 281474976710655
5: DbRep mySqlBackup - Name: current
5: DbRep mySqlBackup - Row_format: Dynamic
5: DbRep mySqlBackup - Update_time: 2014-11-20 15:35:51
5: DbRep mySqlBackup - Version: 10
5: DbRep mySqlBackup - ......... Table definition END ............
5: DbRep mySqlBackup - ......... Table definition found: .........
5: DbRep mySqlBackup - Avg_row_length: 90
5: DbRep mySqlBackup - Check_time: 2017-03-16 12:28:17
5: DbRep mySqlBackup - Collation: latin1_bin
5: DbRep mySqlBackup - Comment:
5: DbRep mySqlBackup - Create_options: partitioned
5: DbRep mySqlBackup - Create_time: 2017-03-14 11:49:56
5: DbRep mySqlBackup - Data_free: 0
5: DbRep mySqlBackup - Data_length: 1423007744
5: DbRep mySqlBackup - Engine: Aria
5: DbRep mySqlBackup - Index_length: 651214848
5: DbRep mySqlBackup - Max_data_length: 0
5: DbRep mySqlBackup - Name: history
5: DbRep mySqlBackup - Row_format: Page
5: DbRep mySqlBackup - Update_time: 2017-06-13 07:58:35
5: DbRep mySqlBackup - Version: 10
5: DbRep mySqlBackup - ......... Table definition END ............
3: DbRep mySqlBackup - Optimizing tables
3: DbRep mySqlBackup - Optimizing table `current` (MYISAM). It will take a while.
3: DbRep mySqlBackup - Table 1 `current` optimized successfully.
3: DbRep mySqlBackup - 1 tables have been optimized.
3: DbRep mySqlBackup - Starting dump of database 'fhem', table 'history'.
5: DbRep mySqlBackup - Use Outfile: /tmp/fhem_history_2017_06_13_08_47.csv


[DS_Starter]

Ach ja stimmt ja, alles klar  . My fault ..... Muß die Engine noch  im Code berücksichtigen.
Mach ich heute Abend. Wenn du es eilig hast such Mal nach einer Subroutine optimizetable ... Dort siehst du eine IF mit Engine, einfach Aria hinzufügen.

Grüße
Heiko

[DS_Starter]

Hallo Joe,

habe in der V5.0.6 die Aria-Engine ergänzt.
Probier mal, sollte nun alles klappen wie es soll.

EDIT: Jetzt habe ich gleich die V5.1.0 angehängt. Es wird im Ergebnis von "fetchrows" die Spalte "UNIT" mit berücksichtigt (sofern etwas enthalten ist).
Ich denke das ist ein gutes Feature.

Grüße,
Heiko