Modul 98_FileLogConvert - Konvertiert FileLog zu CSV/SQL oder Import in DbLog

Begonnen von DeeSPe, 29 Januar 2017, 15:16:18

Vorheriges Thema - Nächstes Thema

DeeSPe

Sorry, hatte noch einen Mini-Bug übersehen.
Beim Import in die DbLog wurde die Bestätigungsdatei nicht geschrieben, so dass es möglich war doppelt zu importieren.
Und im Event bei SQL stand zu viel drin.
Modul im ersten Beitrag ist aktualisiert.

Wenn niemand anderes noch Fehler findet sollte es das jetzt hoffentlich gewesen sein.

Gruß
Dan
MAINTAINER: 22_HOMEMODE, 98_Hyperion, 98_FileLogConvert, 98_serviced

Als kleine Unterstützung für meine Programmierungen könnt ihr mir gerne einen Kaffee spendieren: https://buymeacoff.ee/DeeSPe

AndreasR

Hallo,

bei mir läuft es aktuell auch parallel da ich erst alle attribute setzen möchte und ein wenig Erfahrungen sammeln möchte.

Gibt es eine Möglichkeit alle Module ersteinmal (automatisch) mit dem dblogexclude attribut auszustatten um dann nach und nach alle relevanten Daten dazuzuholen??

Und frage ich mich auch wie das einsehen der Logdaten zu einem Modul / Gerät in der Weboberfläche funktioniert - den das ist mit Filelog über den entsprechenden Link in den Modulen ganz einfach gewesen .. jetzt suche ich nach dem intuitiven DBLog Pendant.

Gruß

Andreas   





DeeSPe

Zitat von: AndreasR am 03 Februar 2017, 12:27:22
Gibt es eine Möglichkeit alle Module ersteinmal (automatisch) mit dem dblogexclude attribut auszustatten um dann nach und nach alle relevanten Daten dazuzuholen??

Würde sagen im  Zweifelsfall so:
attr .* DbLogExclude .*

Zitat von: AndreasR am 03 Februar 2017, 12:27:22
Und frage ich mich auch wie das einsehen der Logdaten zu einem Modul / Gerät in der Weboberfläche funktioniert - den das ist mit Filelog über den entsprechenden Link in den Modulen ganz einfach gewesen .. jetzt suche ich nach dem intuitiven DBLog Pendant.

Aus meiner Sicht geht das am Besten über einen SQL Client.
Auch das ausdünnen der DB von unbenötigten Einträgen mache ich direkt über den Client.
Für Mac OS bietet sich "Sequel Pro" an. Oder halt bei Bedarf auch direkt auf der mysql CLI.

Gruß
Dan
MAINTAINER: 22_HOMEMODE, 98_Hyperion, 98_FileLogConvert, 98_serviced

Als kleine Unterstützung für meine Programmierungen könnt ihr mir gerne einen Kaffee spendieren: https://buymeacoff.ee/DeeSPe

DeeSPe

Hab nochmal ein kleines Update im ersten Beitrag nachgereicht.

Changelog:

  • Fehlerausgabe hinzugefügt wenn Log Datei nicht vorhanden ist
  • initiales Setzen von STATE geändert auf state
  • Regex bei Konvertierung/Import in state hinzugefügt
  • Modul vorbereitet für offiziellen SVN Check-in

Mittlerweile habe ich alle meine alten Logs in die DbLog problemlos importiert.

Würde mich über weitere Tester und Feedback freuen damit das Modul bald offiziell eingecheckt werden kann.

Danke im Voraus an alle Tester und das folgende Feedback.

Gruß
Dan
MAINTAINER: 22_HOMEMODE, 98_Hyperion, 98_FileLogConvert, 98_serviced

Als kleine Unterstützung für meine Programmierungen könnt ihr mir gerne einen Kaffee spendieren: https://buymeacoff.ee/DeeSPe

Hauswart

Ich muss mich erst noch zwischen MySQL oder SQLite entscheiden... und dann Zeit finden :)

Eine nachträgliche Migration SQLite zu MySQL scheint gar nicht so einfach möglich zu sein... MySQL zu SQLite schon eher.




Edit:
MySQL 2 SQLite: https://github.com/dumblob/mysql2sqlite
1. Installation:
KNX, Tasmota (KNX), Sonos, Unifi

2. Installation:
HM-CFG-USB, Unifi (, SIGNALduino 868, MySensors, SIGNALduino 433)

DeeSPe

Machmal muss man sich einfach nur entscheiden loszulegen! ;)
Teste doch erst einmal mit SQLite und lasse die Logs trotzdem weiter laufen.
Wenn Du dann nach Kurzem doch auf MySQL umsteigst, ist dank der weiterlaufenden Logs ja nichts verloren und Du kannst die dann Stück für Stück importieren.

Gruß
Dan
MAINTAINER: 22_HOMEMODE, 98_Hyperion, 98_FileLogConvert, 98_serviced

Als kleine Unterstützung für meine Programmierungen könnt ihr mir gerne einen Kaffee spendieren: https://buymeacoff.ee/DeeSPe

DeeSPe

Am Ende des ersten Beitrags habe ich nochmal einige Importlogs angefügt.
Damit man sich mal eine Vorstellung davon machen kann wie lange solche Importe dauern können.

Gruß
Dan
MAINTAINER: 22_HOMEMODE, 98_Hyperion, 98_FileLogConvert, 98_serviced

Als kleine Unterstützung für meine Programmierungen könnt ihr mir gerne einen Kaffee spendieren: https://buymeacoff.ee/DeeSPe

DeeSPe

Ich habe ein neues offizielles Thema zum Modul erstellt.
Darum schliesse ich nun dieses Thema hier.

Fragen, Feedback und Anregungen bitte ab jetzt im neuen Thema.

Danke.

Gruß
Dan
MAINTAINER: 22_HOMEMODE, 98_Hyperion, 98_FileLogConvert, 98_serviced

Als kleine Unterstützung für meine Programmierungen könnt ihr mir gerne einen Kaffee spendieren: https://buymeacoff.ee/DeeSPe