Autor Thema: FileLog > DBlog Daten Migration  (Gelesen 8075 mal)

Offline wkarl

  • Sr. Member
  • ****
  • Beiträge: 851
FileLog > DBlog Daten Migration
« am: 15 September 2013, 07:44:46 »
Hallo in die Runde,

lediglich eine Interessensfrage, da ich eine Komplettüberarbeitung meiner fhem Installation angehe. Dabei möchte ich von FileLog auf DBlog umstellen. Hierbei möchte ich zumindest die Tages- und Monatsdaten bzgl des Energieverbrauchs (Strom, Daten) mitmigrieren.

Hat sich von Euch auch schon mal diese Gedanken gemacht? Vielleicht auch schon eine Lösung?

Danke schon mal und
ciao walter
FHEM 5.7 & TabletUI 2.2 auf Fedora22 Server auf NUC5i5RYK
CUL 868 > FAST EnergyCam
HMLAN > HomeMatic TCs & VDs, Bewegungsmelder, Schalter, Taster, Steckdosen

Offline kt83

  • New Member
  • *
  • Beiträge: 21
Aw: FileLog > DBlog Daten Migration
« Antwort #1 am: 15 September 2013, 13:45:16 »
Hallo Walter,

einfach die Daten aus dem Filelog in eine CSV Datei bringen (grep, sed, Excel, ...) und diese dann
in die DB importieren.
Die CSV-Datei muss den Spalten der Tabelle entsprechen, hier die Spalten History-Tabelle:
TIMESTAMP TIMESTAMP, DEVICE varchar(32), TYPE varchar(32), EVENT varchar(512), READING varchar(32), VALUE varchar(32), UNIT varchar(32))
Der Import erfolgt im SQLite mit:
sqlite> .import <import_file>.csv history
Viele Grüße,
Thomas.

Offline drdownload

  • Sr. Member
  • ****
  • Beiträge: 762
Aw: FileLog > DBlog Daten Migration
« Antwort #2 am: 16 September 2013, 09:38:49 »
OT: @Walter, wie loggst du denn deinen Datenverbrauch?
CUL 868 Slow-RF (FS20 Aktoren, Sender, FHT8V), CUL 868 (WMBUS-Empfang), Jeelink (PCA301), WS3600 (WH3080 über USB-Basis), Bewässerung mit ESP-Easy und Proplanta, RFXTRX433 Home-Easy Empfang und Senden, Oregon TH, WS001 TH), Blackbean IR, Mopidy-Snapcast MR Audio, Kodi, Forum-LED-Controller,

Offline peterchen89

  • Jr. Member
  • **
  • Beiträge: 97
    • Mein Blog
Antw:FileLog > DBlog Daten Migration
« Antwort #3 am: 11 August 2014, 04:20:36 »
Sorry dass ich das Topic noch mal öffne, denke aber das ist die richtige Stelle  ::).

Habe ein Skript erstellt mit dem man seine bisherigen Filelogs nach MySQL umziehen kann. Ihr findet das Skript unter https://gist.github.com/7289d544c161f136fdd2.git. Viel Spaß damit!
FHEM 5.5 auf HP ProLiant MicroServer G7 N54L 8 GB Ubuntu 14.04 LTS.
1x HM-CFG-LAN, 1x HM-CFG-USB, 7x HM-CC-RT-DN, 5x HM-SEC-SC-2, 1x HM-SEC-SCo, 2x HM-TC-IT-WM-W-EU, 2x HM-LC-Sw1-Pl, 2x HM-ES-PMSw1-Pl, 4x HM-PB-2-WM55-2, 1x HM-PB-6-WM55, 1x HM-WDS10-TH-O, 1x CUL433, 6x Pollin Funksteckdose
Hilfreich Hilfreich x 1 Liste anzeigen

Offline MatthiasR

  • New Member
  • *
  • Beiträge: 26
Antw:FileLog > DBlog Daten Migration
« Antwort #4 am: 24 Oktober 2014, 15:49:29 »
Hi peterchen89,

könntest du das Skript einfach mal posten / per PM schicken?

Danke & Gruß
Matthias

Offline betateilchen

  • Developer
  • Hero Member
  • ****
  • Beiträge: 16099
  • s/fhem\.cfg/configDB/g
Antw:FileLog > DBlog Daten Migration
« Antwort #5 am: 24 Oktober 2014, 16:31:09 »
Du brauchst es doch nur unter der angegebenen URL herunterladen?

Tipp: Lass in der URL das .git am Ende einfach mal weg...

https://gist.github.com/empi89/7289d544c161f136fdd2
-----------------------
Unaufgeforderte Anfragen per email werden von mir nicht beantwortet. Dafür ist das Forum da.

Offline MatthiasR

  • New Member
  • *
  • Beiträge: 26
Antw:FileLog > DBlog Daten Migration
« Antwort #6 am: 27 Oktober 2014, 22:51:49 »
Danke, kenne mich mit git nicht aus. Super!

Offline Chris_Worms

  • Jr. Member
  • **
  • Beiträge: 80
Antw:FileLog > DBlog Daten Migration
« Antwort #7 am: 24 Oktober 2015, 11:53:21 »
Danke für dieses super Script, das hat mir eine Menge Arbeit erspart und nun habe ich alle bisher gesammelten Daten in meiner MySQL Datenbank.
Raspberry Pi 2/HM-CFG-LAN/HM-ES-PMSw1-PI/HM-LC-Sw1-PL/HM-Sec-MDIR-2/JeeLink V3/LaCrosse Temp/Humidity/Bluetooh USB Dongle/PebbleBee Bluetooth Tags

FHEM/MySQL/Apache/SmarVisu

Offline Arek

  • Jr. Member
  • **
  • Beiträge: 96
Antw:FileLog > DBlog Daten Migration
« Antwort #8 am: 25 Oktober 2015, 12:46:30 »
Hey,

ich habe DbLog eingerichtet und versuche nun die Daten von FileLog zu importieren. Leider klappt es nicht. Dieses Script funktioniert doch nur mit MySQL oder? Ich habe SQLite bei mir eingerichtet. Wie kriege ich es zum Laufen?

Gruß Arek

kyreon

  • Gast
Antw:FileLog > DBlog Daten Migration
« Antwort #9 am: 04 Januar 2016, 18:52:43 »
Hey Arek,

ich habe das gleiche Problem, wie hast du den Datenimport mit SQLite dann am Ende zum laufen gebracht?

Viele Grüße,
kyreon

Offline Michl1003!

  • Full Member
  • ***
  • Beiträge: 117
  • Ich bastel gern
Antw:FileLog > DBlog Daten Migration
« Antwort #10 am: 13 Dezember 2018, 18:54:09 »
Du brauchst es doch nur unter der angegebenen URL herunterladen?

Tipp: Lass in der URL das .git am Ende einfach mal weg...

https://gist.github.com/empi89/7289d544c161f136fdd2


hallo, blöde frage, wie starte ich das script??? hab im terminal php scriptname logfile eingegeben.. aber hat nix getan...
steh voll auf der leitung..
1x PI 2B+ FHEM - Heizung
1x Pi 3b+ - FHEM - Haussteuerung
1x Pi 3 - MagicMirror
2x Pi B - Musicbox

Offline ddw

  • Newbie
  • Beiträge: 2
Antw:FileLog > DBlog Daten Migration
« Antwort #11 am: 09 Oktober 2019, 21:25:41 »
nur falls noch jemand bei der Suche nach Möglichkeiten zur Datenmigration auf diesen Thread stößt:
inzwischen gibt es das Modul FileLogConvert für diesen Zweck, siehe dazu im Wiki https://wiki.fhem.de/wiki/FileLogConvert und im Forum https://forum.fhem.de/index.php?topic=66383.0

 

decade-submarginal