FileLog > DBlog Daten Migration

Begonnen von wkarl, 15 September 2013, 07:44:46

Vorheriges Thema - Nächstes Thema

wkarl

Hallo in die Runde,

lediglich eine Interessensfrage, da ich eine Komplettüberarbeitung meiner fhem Installation angehe. Dabei möchte ich von FileLog auf DBlog umstellen. Hierbei möchte ich zumindest die Tages- und Monatsdaten bzgl des Energieverbrauchs (Strom, Daten) mitmigrieren.

Hat sich von Euch auch schon mal diese Gedanken gemacht? Vielleicht auch schon eine Lösung?

Danke schon mal und
ciao walter
FHEM 5.7 & TabletUI 2.2 auf Fedora22 Server auf NUC5i5RYK
CUL 868 > FAST EnergyCam
HMLAN > HomeMatic TCs & VDs, Bewegungsmelder, Schalter, Taster, Steckdosen

kt83

Hallo Walter,

einfach die Daten aus dem Filelog in eine CSV Datei bringen (grep, sed, Excel, ...) und diese dann
in die DB importieren.
Die CSV-Datei muss den Spalten der Tabelle entsprechen, hier die Spalten History-Tabelle:
TIMESTAMP TIMESTAMP, DEVICE varchar(32), TYPE varchar(32), EVENT varchar(512), READING varchar(32), VALUE varchar(32), UNIT varchar(32))
Der Import erfolgt im SQLite mit:
sqlite> .import <import_file>.csv history
Viele Grüße,
Thomas.

drdownload

OT: @Walter, wie loggst du denn deinen Datenverbrauch?
CUL 868 Slow-RF (FS20 Aktoren, Sender, FHT8V), CUL 868 (WMBUS-Empfang), Jeelink (PCA301), WS3600 (WH3080 über USB-Basis), Bewässerung mit ESP-Easy und Proplanta, RFXTRX433 Home-Easy Empfang und Senden, Oregon TH, WS001 TH), Blackbean IR, Mopidy-Snapcast MR Audio, Kodi, Forum-LED-Controller,

peterchen89

Sorry dass ich das Topic noch mal öffne, denke aber das ist die richtige Stelle  ::).

Habe ein Skript erstellt mit dem man seine bisherigen Filelogs nach MySQL umziehen kann. Ihr findet das Skript unter https://gist.github.com/7289d544c161f136fdd2.git. Viel Spaß damit!
FHEM 5.5 auf HP ProLiant MicroServer G7 N54L 8 GB Ubuntu 14.04 LTS.
1x HM-CFG-LAN, 1x HM-CFG-USB, 7x HM-CC-RT-DN, 5x HM-SEC-SC-2, 1x HM-SEC-SCo, 2x HM-TC-IT-WM-W-EU, 2x HM-LC-Sw1-Pl, 2x HM-ES-PMSw1-Pl, 4x HM-PB-2-WM55-2, 1x HM-PB-6-WM55, 1x HM-WDS10-TH-O, 1x CUL433, 6x Pollin Funksteckdose

mrichwin

Hi peterchen89,

könntest du das Skript einfach mal posten / per PM schicken?

Danke & Gruß
Matthias

betateilchen

Du brauchst es doch nur unter der angegebenen URL herunterladen?

Tipp: Lass in der URL das .git am Ende einfach mal weg...

https://gist.github.com/empi89/7289d544c161f136fdd2
-----------------------
Formuliere die Aufgabe möglichst einfach und
setze die Lösung richtig um - dann wird es auch funktionieren.
-----------------------
Lesen gefährdet die Unwissenheit!

mrichwin

Danke, kenne mich mit git nicht aus. Super!

Chris_Worms

Danke für dieses super Script, das hat mir eine Menge Arbeit erspart und nun habe ich alle bisher gesammelten Daten in meiner MySQL Datenbank.
Raspberry Pi 2/HM-CFG-LAN/HM-ES-PMSw1-PI/HM-LC-Sw1-PL/HM-Sec-MDIR-2/JeeLink V3/LaCrosse Temp/Humidity/Bluetooh USB Dongle/PebbleBee Bluetooth Tags

FHEM/MySQL/Apache/SmarVisu

Arek

Hey,

ich habe DbLog eingerichtet und versuche nun die Daten von FileLog zu importieren. Leider klappt es nicht. Dieses Script funktioniert doch nur mit MySQL oder? Ich habe SQLite bei mir eingerichtet. Wie kriege ich es zum Laufen?

Gruß Arek

kyreon

Hey Arek,

ich habe das gleiche Problem, wie hast du den Datenimport mit SQLite dann am Ende zum laufen gebracht?

Viele Grüße,
kyreon

MichlB

Zitat von: betateilchen am 24 Oktober 2014, 16:31:09
Du brauchst es doch nur unter der angegebenen URL herunterladen?

Tipp: Lass in der URL das .git am Ende einfach mal weg...

https://gist.github.com/empi89/7289d544c161f136fdd2


hallo, blöde frage, wie starte ich das script??? hab im terminal php scriptname logfile eingegeben.. aber hat nix getan...
steh voll auf der leitung..
1x PI 2B+ FHEM - Heizung
1x Pi 3b+ - FHEM - Haussteuerung
1x Pi 3 - MagicMirror
2x Pi B - Musicbox

ddw

nur falls noch jemand bei der Suche nach Möglichkeiten zur Datenmigration auf diesen Thread stößt:
inzwischen gibt es das Modul FileLogConvert für diesen Zweck, siehe dazu im Wiki https://wiki.fhem.de/wiki/FileLogConvert und im Forum https://forum.fhem.de/index.php?topic=66383.0