Modul DbRep: Format-Probleme im CSV-Export

[MarcusR]

Moin zusammen,

ich hab ein kleines Problem mit DbRep: Ich verwende es, um Datensätze aus meinem Log (SQLite) in ein Archiv (mySQL) zu verschieben. Dafür habe ich beide Datenbanken angebunden und benutze DbRep zum Export aus Log per exportToFile und Import in Archiv per importFromFile.

Nun scheint sich aber DbRep beim Export nicht groß um die Validität des CSV-Formats zu scheren, den er erzeugt in meinem Beispiel folgende Zeilen:

Code Auswählen Erweitern


"2018-05-08 22:17:37","global","GLOBAL","MODIFIED random.set","state","MODIFIED random.set",""
"2018-05-08 22:17:58","random.set","DOIF","cmd_nr: 2","cmd_nr","2",""
"2018-05-08 22:17:58","random.set","DOIF","cmd: 2","cmd","2",""
"2018-05-08 22:17:58","random.set","DOIF","cmd_event: presence","cmd_event","presence",""
"2018-05-08 22:17:58","random.set","DOIF","error: set .*.rand enabled: No set implemented for 1Q4.rand
No set implemented for 1Q6.rand
No set implemented for 1Q7.rand
No set implemented for 2Q6.rand
No set implemented for 2Q7.rand
No set implemented for flur.rand ","error","set .*.rand enabled","No set implemented for 1Q4.rand
No set implemented for 1Q6.rand
No set implemented for 1Q7.rand
No set implemented for 2Q6.rand
No set implemented for 2Q7.rand
No set implemented for flur.rand "
"2018-05-08 22:17:58","random.set","DOIF","state: cmd_2","state","cmd_2",""
"2018-05-08 22:18:05","homematic.fernbedienung_1","CUL_HM","battery: ok","battery","ok",""


Bis zur 4. Zeile ist alles ok, in der 5. Zeile wird die 3. Spalte allerdings nicht geschlossen. Vermutlich enthält die 3. Spalte Umbrüche, die hier un-escaped übernommen werden. Evtl. fehlen daher auch in der 10. Zeile die ersten beiden Spalten.

Ist das ein (bekannter) Bug oder ein Problem in der Konfiguration? (Attribute habe ich in DbRep keine angegeben außer expimpfile und den Zeitraum)

Grüße,
Marcus



Hier noch die Internals für Log:

Code Auswählen Erweitern


COLUMNS field length used for Device: 64, Type: 64, Event: 512, Reading: 64, Value: 128, Unit: 32

CONFIGURATION ./db.conf

DEF ./db.conf homematic.kombisensor|homematic.regensensor.sensor|homematic.kombisensor.aktuell|homematic.keymatic|homematic.fernbedienung_1|homematic.fernbedienung_2

MODE synchronous
MODEL SQLITE
NAME logdb
NR 270
NTFY_ORDER 50-logdb
PID 797
REGEXP homematic.kombisensor|homematic.regensensor.sensor|homematic.kombisensor.aktuell|homematic.keymatic|homematic.fernbedienung_1|homematic.fernbedienung_2
STATE connected
TYPE DbLog
VERSION 2.22.14
dbconn SQLite:dbname=/opt/fhem/fhem.db
dbuser


Und die Ausgabe von Version:

Code Auswählen Erweitern

Latest Revision: 15511

File                   Rev   Last Change

fhem.pl                15482 2017-11-23 10:07:05Z rudolfkoenig
39_alexa.pm            15047 2017-09-10 18:05:05Z justme1968
96_allowed.pm          14888 2017-08-13 12:07:12Z rudolfkoenig
90_at.pm               14995 2017-09-03 14:23:14Z rudolfkoenig
98_autocreate.pm       15377 2017-11-01 16:59:23Z rudolfkoenig
10_CUL_HM.pm           15498 2017-11-25 17:12:33Z martinp876
93_DbLog.pm            15449 2017-11-18 20:23:30Z DS_Starter
93_DbRep.pm            15446 2017-11-18 19:18:56Z DS_Starter
98_DLNARenderer.pm     14143 2017-04-30 13:43:24Z dominik
98_DOIF.pm             14790 2017-07-26 10:27:41Z Damian
98_dummy.pm            12700 2016-12-02 16:49:42Z rudolfkoenig
91_eventTypes.pm       14888 2017-08-13 12:07:12Z rudolfkoenig
01_FHEMWEB.pm          15328 2017-10-27 10:51:17Z rudolfkoenig
92_FileLog.pm          14888 2017-08-13 12:07:12Z rudolfkoenig
37_harmony.pm          15393 2017-11-05 11:06:17Z justme1968
98_help.pm             15223 2017-10-10 10:14:24Z betateilchen
98_HMinfo.pm           15458 2017-11-19 18:20:37Z martinp876
00_HMLAN.pm            14073 2017-04-22 13:45:25Z martinp876
98_HourCounter.pm      11307 2016-04-25 08:02:06Z rudolfkoenig
30_HUEBridge.pm        15123 2017-09-23 17:20:38Z justme1968
31_HUEDevice.pm        15247 2017-10-13 19:18:21Z justme1968
98_IF.pm               12944 2017-01-03 12:56:17Z Damian
49_IPCAM.pm             2626 2013-02-01 19:19:15Z mfr69bs
98_JsonList2.pm        13757 2017-03-20 19:17:02Z rudolfkoenig
93_Log2Syslog.pm       15486 2017-11-23 20:35:07Z DS_Starter
00_MYSENSORS.pm        15106 2017-09-20 13:23:20Z Hauswart
No Id found for 99_myUtils.pm
91_notify.pm           14888 2017-08-13 12:07:12Z rudolfkoenig
70_ONKYO_AVR.pm        14399 2017-05-28 10:33:19Z loredo
11_OWDevice.pm         14523 2017-06-16 05:15:56Z neubert
10_OWServer.pm         14523 2017-06-16 05:15:56Z neubert
37_plex.pm             14601 2017-06-30 07:33:29Z justme1968
70_Pushbullet.pm        9730 2015-10-30 15:06:41Z fhainz
98_RandomTimer.pm      14538 2017-06-18 19:48:48Z orti-otto
33_readingsProxy.pm    14044 2017-04-20 07:48:44Z justme1968
86_Robonect.pm         15258 2017-10-14 18:43:54Z andi291
51_RPI_GPIO.pm         15350 2017-10-29 21:58:26Z klausw
98_structure.pm        15129 2017-09-24 08:58:57Z rudolfkoenig
99_SUNRISE_EL.pm       14888 2017-08-13 12:07:12Z rudolfkoenig
98_SVG.pm              14888 2017-08-13 12:07:12Z rudolfkoenig
42_SYSMON.pm           15378 2017-11-01 20:36:57Z hexenmeister
98_telnet.pm           15006 2017-09-05 09:37:33Z rudolfkoenig
59_Twilight.pm         14039 2017-04-19 19:59:56Z orti-otto
99_Utils.pm            13259 2017-01-28 17:39:39Z rudolfkoenig
# $Id: 99_UtilsHourCounter.pm 2014-12-16 20:15:33 john $
98_version.pm          15140 2017-09-26 09:20:09Z markusbloch
98_weblink.pm          14888 2017-08-13 12:07:12Z rudolfkoenig
32_WifiLight.pm        14607 2017-06-30 21:16:09Z herrmannj

Blocking.pm            15412 2017-11-09 14:34:29Z rudolfkoenig
Color.pm               11159 2016-03-30 16:08:06Z justme1968
Common.pm              10759 2016-02-07 20:00:12Z rleins
No Id found for Constants.pm
ControlPoint.pm        14715 2017-07-14 10:39:57Z Reinerlein
DevIo.pm               14933 2017-08-20 14:21:58Z rudolfkoenig
GPUtils.pm              6653 2014-10-02 11:59:37Z ntruchsess
HMConfig.pm            15504 2017-11-26 09:10:29Z martinp876
HttpUtils.pm           15434 2017-11-15 13:21:28Z rudolfkoenig
No Id found for Message.pm
ONKYOdb.pm             14012 2017-04-17 13:09:41Z loredo
# $Id: OWNet.pm,v 1.24 2013/02/02 11:41:28 alfille Exp $
RTypes.pm              10476 2016-01-12 21:03:33Z borisneubert
SetExtensions.pm       12935 2017-01-02 19:51:46Z rudolfkoenig
TcpServerUtils.pm      14862 2017-08-07 15:16:03Z rudolfkoenig

fhemweb.js                 15228 2017-10-10 17:34:56Z rudolfkoenig



[DS_Starter]

Hallo Marcus,

das Problem ist seit der DbRep-Version 7.3.0  vom  07.01.2018 behoben.
Deine Versionen von DbRep und DbLog sind insgesamt rund ein Jahr alt. Ich würde empfehlen mindestens beide, wenn nicht das ganze FHEM, mal zu aktualisieren.

EDIT: Noch ein Hinweis. Inzwischen gibt es mit "syncStandby" einen einfachen und eleganten Weg Daten von einer Datenbank in eine andere DB zu übertragen. On-the-fly und ohne Ex/Import. Das geht auch wenn beide DB's nicht vom gleichen Typ sind, so wie bei dir.

Grüße
Heiko

[MarcusR]

Danke für den Hinweis! Ich habe mal geupdated und beobachte, ob der Fehler nochmal auftritt.

Auch die neue Option klingt interessant, die schaue ich mir mal an

Grüße,
Marcus