FHEM Forum

FHEM => Sonstiges => Thema gestartet von: wkarl am 15 September 2013, 07:44:46

Titel: FileLog > DBlog Daten Migration
Beitrag von: wkarl am 15 September 2013, 07:44:46
Hallo in die Runde,

lediglich eine Interessensfrage, da ich eine Komplettüberarbeitung meiner fhem Installation angehe. Dabei möchte ich von FileLog auf DBlog umstellen. Hierbei möchte ich zumindest die Tages- und Monatsdaten bzgl des Energieverbrauchs (Strom, Daten) mitmigrieren.

Hat sich von Euch auch schon mal diese Gedanken gemacht? Vielleicht auch schon eine Lösung?

Danke schon mal und
ciao walter
Titel: Aw: FileLog > DBlog Daten Migration
Beitrag von: kt83 am 15 September 2013, 13:45:16
Hallo Walter,

einfach die Daten aus dem Filelog in eine CSV Datei bringen (grep, sed, Excel, ...) und diese dann
in die DB importieren.
Die CSV-Datei muss den Spalten der Tabelle entsprechen, hier die Spalten History-Tabelle:
TIMESTAMP TIMESTAMP, DEVICE varchar(32), TYPE varchar(32), EVENT varchar(512), READING varchar(32), VALUE varchar(32), UNIT varchar(32))
Der Import erfolgt im SQLite mit:
sqlite> .import <import_file>.csv history
Viele Grüße,
Thomas.
Titel: Aw: FileLog > DBlog Daten Migration
Beitrag von: drdownload am 16 September 2013, 09:38:49
OT: @Walter, wie loggst du denn deinen Datenverbrauch?
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: peterchen89 am 11 August 2014, 04:20:36
Sorry dass ich das Topic noch mal öffne, denke aber das ist die richtige Stelle  ::).

Habe ein Skript erstellt mit dem man seine bisherigen Filelogs nach MySQL umziehen kann. Ihr findet das Skript unter https://gist.github.com/7289d544c161f136fdd2.git. Viel Spaß damit!
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: mrichwin am 24 Oktober 2014, 15:49:29
Hi peterchen89,

könntest du das Skript einfach mal posten / per PM schicken?

Danke & Gruß
Matthias
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: betateilchen am 24 Oktober 2014, 16:31:09
Du brauchst es doch nur unter der angegebenen URL herunterladen?

Tipp: Lass in der URL das .git am Ende einfach mal weg...

https://gist.github.com/empi89/7289d544c161f136fdd2
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: mrichwin am 27 Oktober 2014, 22:51:49
Danke, kenne mich mit git nicht aus. Super!
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: Chris_Worms am 24 Oktober 2015, 11:53:21
Danke für dieses super Script, das hat mir eine Menge Arbeit erspart und nun habe ich alle bisher gesammelten Daten in meiner MySQL Datenbank.
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: Arek am 25 Oktober 2015, 12:46:30
Hey,

ich habe DbLog eingerichtet und versuche nun die Daten von FileLog zu importieren. Leider klappt es nicht. Dieses Script funktioniert doch nur mit MySQL oder? Ich habe SQLite bei mir eingerichtet. Wie kriege ich es zum Laufen?

Gruß Arek
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: kyreon am 04 Januar 2016, 18:52:43
Hey Arek,

ich habe das gleiche Problem, wie hast du den Datenimport mit SQLite dann am Ende zum laufen gebracht?

Viele Grüße,
kyreon
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: MichlB am 13 Dezember 2018, 18:54:09
Zitat von: betateilchen am 24 Oktober 2014, 16:31:09
Du brauchst es doch nur unter der angegebenen URL herunterladen?

Tipp: Lass in der URL das .git am Ende einfach mal weg...

https://gist.github.com/empi89/7289d544c161f136fdd2


hallo, blöde frage, wie starte ich das script??? hab im terminal php scriptname logfile eingegeben.. aber hat nix getan...
steh voll auf der leitung..
Titel: Antw:FileLog > DBlog Daten Migration
Beitrag von: ddw am 09 Oktober 2019, 21:25:41
nur falls noch jemand bei der Suche nach Möglichkeiten zur Datenmigration auf diesen Thread stößt:
inzwischen gibt es das Modul FileLogConvert für diesen Zweck, siehe dazu im Wiki https://wiki.fhem.de/wiki/FileLogConvert (https://wiki.fhem.de/wiki/FileLogConvert) und im Forum https://forum.fhem.de/index.php?topic=66383.0 (https://forum.fhem.de/index.php?topic=66383.0)