dblog Problem

doman75 · 02 Juli 2019, 14:36:17

hallo, ich glaube ich habe seit heute ein problem mit meiner fhem.db, siehe mail den auszug vom logfile.
Allerdings steht da als Status bei der logdb connected. Die Fehler kommen beim Start von FHem und beim reducelogNBl.
ich lasse gerade dbrep mit repairsqllite nochmal drüber laufen. da ich das aber vor 10 minuten und dem letzten restart gemacht habe, denke ich nicht das es Verbesserungen bringt.
Komisch finde ich das da steht Datei odeer Verzeichnis nicht gefunden.

kann mir jemand weiterhelfen?

grüße
Swen

Code Auswählen


2019.07.02 14:27:21.519 1: PERL WARNING: DBD::SQLite::db prepare failed: file is encrypted or is not a database at ./FHEM/93_DbLog.pm line 3195.
2019.07.02 14:27:21.455 1: PERL WARNING: DBD::SQLite::st execute failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3197.
2019.07.02 14:27:21.455 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.
2019.07.02 14:27:10.646 1: TRX_SECURITY_Parse() unsupported hex=08200a020000000639
2019.07.02 14:27:10.646 1: TRX_SECURITY_parse_X10Sec() TRX_SECURITY: error undefined subtype=10
du: Zugriff auf ,,fhem.db" nicht möglich: Datei oder Verzeichnis nicht gefunden
2019.07.02 14:26:54.962 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.
2019.07.02 14:26:53.696 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.
2019.07.02 14:26:39.153 1: PERL WARNING: DBD::SQLite::st execute failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3197.
2019.07.02 14:26:39.093 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.

doman75 · 02 Juli 2019, 14:49:42

nachdem repairversuch steht folgendes im dbrep

Code Auswählen


Warning - repair finished, but command message after repair appeared

DS_Starter · 02 Juli 2019, 14:57:34

Die Meldung ist ok. Was steht im Log ?
Aber daran denken, die Reparatur KANN gelingen, muss aber nicht.

Grüsse,
Heiko

doman75 · 02 Juli 2019, 15:01:27

ich finde nur diese log einträge, es fehlen in meinem Plots auch Werte von gestern früh 05:00 urh bis ca. heut 09:00 Uhr. Was auch auffällt die DB ist jetzt fast doppelt so groß.

Sehr merkwürdig

Code Auswählen


2019.07.02 14:37:11.952 2: DbRep dbrep - command message after repair: "Reopen executed." 
2019.07.02 14:37:08.979 1: PERL WARNING: Use of uninitialized value $data{"currval1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.979 1: PERL WARNING: Use of uninitialized value $data{"max1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.979 1: PERL WARNING: Use of uninitialized value $data{"min1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.978 1: PERL WARNING: DBD::SQLite::db prepare failed: database is locked at ./FHEM/93_DbLog.pm line 3195.
2019.07.02 14:37:08.977 1: PERL WARNING: Use of uninitialized value $data{"currval1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.977 1: PERL WARNING: Use of uninitialized value $data{"max1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.977 1: PERL WARNING: Use of uninitialized value $data{"min1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.976 1: PERL WARNING: DBD::SQLite::db prepare failed: database is locked at ./FHEM/93_DbLog.pm line 3195.
2019.07.02 14:37:08.932 1: PERL WARNING: Use of uninitialized value $data{"currval1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.932 1: PERL WARNING: Use of uninitialized value $data{"max1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.932 1: PERL WARNING: Use of uninitialized value $data{"min1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.931 1: PERL WARNING: DBD::SQLite::db prepare failed: database is locked at ./FHEM/93_DbLog.pm line 3195.
2019.07.02 14:37:08.801 1: PERL WARNING: Use of uninitialized value $data{"currval1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.801 1: PERL WARNING: Use of uninitialized value $data{"max1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.800 1: PERL WARNING: Use of uninitialized value $data{"min1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:08.799 1: PERL WARNING: DBD::SQLite::db prepare failed: database is locked at ./FHEM/93_DbLog.pm line 3195.
2019.07.02 14:37:08.666 1: PERL WARNING: Use of uninitialized value $data{"currval1"} in concatenation (.) or string at (eval 11747) line 1.
2019.07.02 14:37:08.666 1: PERL WARNING: Use of uninitialized value $data{"max1"} in concatenation (.) or string at (eval 11747) line 1.
2019.07.02 14:37:08.665 1: PERL WARNING: Use of uninitialized value $data{"min1"} in concatenation (.) or string at (eval 11747) line 1.
2019.07.02 14:37:08.663 1: PERL WARNING: DBD::SQLite::db prepare failed: database is locked at ./FHEM/93_DbLog.pm line 3195.
2019.07.02 14:37:06.441 1: PERL WARNING: Use of uninitialized value $data{"currval1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:06.441 1: PERL WARNING: Use of uninitialized value $data{"max1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:06.441 1: PERL WARNING: Use of uninitialized value $data{"min1"} in concatenation (.) or string at (eval 11741) line 1.
2019.07.02 14:37:06.439 1: PERL WARNING: DBD::SQLite::db prepare failed: database is locked at ./FHEM/93_DbLog.pm line 3195.
2019.07.02 14:37:06.439 1: PERL WARNING: DBD::SQLite::db prepare failed: database is locked at ./FHEM/93_DbLog.pm line 3195.
2019.07.02 14:37:02.016 1: [Freezemon] myFreezemon: possible freeze starting at 14:37:01, delay is 1.016 possibly caused by: no bad guy found :-(
2019.07.02 14:36:23.405 1: [Freezemon] myFreezemon: possible freeze starting at 14:36:22, delay is 1.405 possibly caused by: no bad guy found :-(
2019.07.02 14:35:59.863 1: TRX_SECURITY_Parse() unsupported hex=08200a4e005d500639
2019.07.02 14:35:59.863 1: TRX_SECURITY_parse_X10Sec() TRX_SECURITY: error undefined subtype=10
2019.07.02 14:35:37.589 1: [Freezemon] myFreezemon: possible freeze starting at 14:35:36, delay is 1.588 possibly caused by: no bad guy found :-(
2019.07.02 14:35:34.224 1: [Freezemon] myFreezemon: possible freeze starting at 14:35:32, delay is 2.224 possibly caused by: no bad guy found :-(
2019.07.02 14:34:57.873 1: [Freezemon] myFreezemon: possible freeze starting at 14:34:56, delay is 1.507 possibly caused by: no bad guy found :-(
2019.07.02 14:33:36.167 1: FHEMWEB SSL/HTTPS error:  SSL connect accept failed because of handshake problems (peer: 80.154.220.33)
2019.07.02 14:33:36.116 1: FHEMWEB SSL/HTTPS error:  SSL connect accept failed because of handshake problems (peer: 80.154.220.33)
2019.07.02 14:32:17.232 1: FHEMWEB SSL/HTTPS error:  SSL connect accept failed because of handshake problems (peer: 80.154.220.33)
2019.07.02 14:28:58.327 2: DbLog logdb: Connection closed until 15:28:58 (3600 seconds).
2019.07.02 14:28:58.324 2: DbLog logdb: Connection closed until 00:28:58 (36000 seconds).

doman75 · 02 Juli 2019, 15:04:23

offenbar bekomme ich seit tagen in der nacht wenn ich reducenbllog ausführe diese fehlermeldung:

Code Auswählen


2019.07.01 00:15:43.329 2: DbLog logdb - reduceLogNbl ! FAILED ! for day 2019-04-24: DBD::SQLite::st execute failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 4768.

DBD::SQLite::st fetchrow_arrayref failed: abort due to ROLLBACK at ./FHEM/93_DbLog.pm line 4740.

DS_Starter · 02 Juli 2019, 15:09:42

Ja deine db ist/war korrupt.
Logt dblog normal oder mit fehlern ?
Ist dblog im asynch mode ?

doman75 · 02 Juli 2019, 15:15:00

die Db läuft im async Modus.

ich denke die Db hat immer noch fehler.

Zitat
Logt dblog normal oder mit fehlern ?

Wie meinst du das?

hier mal das list vom dblog

Code Auswählen


Internals:
   .FhemMetaInternals 1
   .triggerUsed 1
   COLUMNS    field length used for Device: 64, Type: 64, Event: 512, Reading: 64, Value: 128, Unit: 32 
   CONFIGURATION ./db.conf
   DEF        ./db.conf .*:(Temp|Feuchte|Gaszaehler|Gaszaehlerstand|valveposition|temperature|desiredTemperature|onoff|consumption|power|total|current|humidity|cum_day|cum_month|day|pmeter|energy|weight|fatRatio|height|costs|statConsumptionHourLast|statConsumptionDayLast|statConsumptionMonthLast|statConsumptionYearLast|sum|Summe|StromverbrauchLastHour|dutycycle|heartPulse|diastolicBloodPressure|fatFreeMass|fatMassWeight|systolicBloodPressure|fatFreeRatio|pulseTransitTime|Gesendet|Empfangen|Gesendet_ges|ping|upload|download|Empfangen_ges|1.ILLUMINATION|bmi|abnahme|abnahmefett).*
   FUUID      5c42db4a-f33f-5c7c-2d19-5e32a89470088d56
   FVERSION   93_DbLog.pm:v4.1.1-s19529/2019-06-02
   MODE       asynchronous
   MODEL      SQLITE
   NAME       logdb
   NR         382
   NTFY_ORDER 50-logdb
   PID        897
   REGEXP     .*:(Temp|Feuchte|Gaszaehler|Gaszaehlerstand|valveposition|temperature|desiredTemperature|onoff|consumption|power|total|current|humidity|cum_day|cum_month|day|pmeter|energy|weight|fatRatio|height|costs|statConsumptionHourLast|statConsumptionDayLast|statConsumptionMonthLast|statConsumptionYearLast|sum|Summe|StromverbrauchLastHour|dutycycle|heartPulse|diastolicBloodPressure|fatFreeMass|fatMassWeight|systolicBloodPressure|fatFreeRatio|pulseTransitTime|Gesendet|Empfangen|Gesendet_ges|ping|upload|download|Empfangen_ges|1.ILLUMINATION|bmi|abnahme|abnahmefett).*
   STATE      connected
   TYPE       DbLog
   dbconn     SQLite:dbname=/opt/fhem/log/fhem.db
   dbuser     
   .attraggr:
   .attrminint:
   .userReadings:
     HASH(0x3b361e8)
   HELPER:
     COLSET     1
     DEVICECOL  64
     EVENTCOL   512
     OLDSTATE   connected
     PACKAGE    main
     READINGCOL 64
     TYPECOL    64
     UNITCOL    32
     VALUECOL   128
     VERSION    4.1.1
     REDUCELOG:
       logdb
       reduceLogNbl
       14
       average
   READINGS:
     2019-07-02 15:14:00   CacheUsage      30
     2019-07-02 00:15:00   DbFileSize      0
     2019-07-02 15:13:43   NextSync        2019-07-02 15:14:13 or if CacheUsage 500 reached
     2018-08-08 11:58:20   countCurrent    697
     2018-08-08 11:58:20   countHistory    1846865
     2017-02-28 00:15:04   lastReduceLogResult Rows processed: 170828, deleted: 50439, updated: 3653, time: 4.87sec
     2019-07-02 14:27:02   reduceLogState  reduceLogNbl finished. Rows processed: 10396808, deleted: 7868714, updated: 269557, time: 649.00sec
     2019-07-02 15:13:43   state           connected
     2018-03-07 10:23:18   userCommand     CREATE INDEX Report_Idx ON `history` (TIMESTAMP, READING)
     2018-03-07 10:23:24   userCommandResult no result
   cache:
     index      7455
     .memcache:
       7426       2019-07-02 15:13:44|Stromverbrauch_MQTT2_shellyswitch25_0002E9_CH2|MQTT2_DEVICE|power: 52.49|power|52.49|
       7427       2019-07-02 15:13:45|Stromverbrauch_MQTT2_shellyswitch25_0002E9_CH2|MQTT2_DEVICE|power: 55.74|power|55.74|
       7428       2019-07-02 15:13:45|Empfangen|DUMMY|Empfangen: 5.777539825|Empfangen|5.777539825|
       7429       2019-07-02 15:13:45|Empfangen|DUMMY|Empfangen_ges: 6194.77242102903|Empfangen_ges|6194.77242102903|
       7430       2019-07-02 15:13:45|Gesendet|DUMMY|Gesendet: 5.753808356|Gesendet|5.753808356|
       7431       2019-07-02 15:13:45|Gesendet|DUMMY|Gesendet_ges: 1597.87402502398|Gesendet_ges|1597.87402502398|
       7432       2019-07-02 15:13:46|Stromverbrauch_MQTT2_shelly1pm_6096B2|MQTT2_DEVICE|power: 4.25|power|4.25|
       7433       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|power: 1.98|power|1.98|
       7434       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|consumption: 0.16|consumption|0.16|
       7435       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|powerMax: 68.89|powerMax|68.89|
       7436       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|consumption: 0.16|consumption|0.16|
       7437       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|powerMax: 68.89|powerMax|68.89|
       7438       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|energy: 9628|energy|9628|
       7439       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|consumption: 0.16|consumption|0.16|
       7440       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|powerMax: 68.89|powerMax|68.89|
       7441       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|consumption: 0.16|consumption|0.16|
       7442       2019-07-02 15:13:47|StromverbrauchMQTT2_shellyswitch_559932|MQTT2_DEVICE|powerMax: 68.89|powerMax|68.89|
       7443       2019-07-02 15:13:47|Stromverbrauch_MQTT2_shelly1pm_6097BF|MQTT2_DEVICE|temperature: 37.07|temperature|37.07|°C
       7444       2019-07-02 15:13:48|an_Wandthermostat|MAX|temperature: 23.5|temperature|23.5|�C
       7445       2019-07-02 15:13:48|mz_Wandthermostat|MAX|temperature: 24.0|temperature|24.0|�C
       7446       2019-07-02 15:13:48|ku_Wandthermostat|MAX|temperature: 24.4|temperature|24.4|�C
       7447       2019-07-02 15:13:48|sz_Wandthermostat|MAX|temperature: 25.4|temperature|25.4|�C
       7448       2019-07-02 15:13:48|bao_FB_Wandthermostat|MAX|temperature: 23.9|temperature|23.9|�C
       7449       2019-07-02 15:13:48|wf_Haustuer|MAX|onoff: 1|onoff|1|
       7450       2019-07-02 15:13:50|HM_HmIP_Presence1|HMCCUDEV|1.ILLUMINATION: 104.6|1.ILLUMINATION|104.6|
       7451       2019-07-02 15:13:50|HM_HmIP_Presence1|HMCCUDEV|1.ILLUMINATION_STATUS: 0|1.ILLUMINATION_STATUS|0|
       7452       2019-07-02 15:13:52|Stromverbrauch_MQTT2_shellyswitch25_0002E9_CH2|MQTT2_DEVICE|power: 50.29|power|50.29|
       7453       2019-07-02 15:13:54|Stromverbrauch_MQTT2_shellyswitch25_0002E9_CH2|MQTT2_DEVICE|power: 55.07|power|55.07|
       7454       2019-07-02 15:13:55|StromverbrauchMediaEC3000|EC3000|power: 27.4|power|27.4|
       7455       2019-07-02 15:14:00|StromverbrauchMediaEC3000|EC3000|power: 26.6|power|26.6|
Attributes:
   DbLogType  Current/History
   asyncMode  1
   excludeDevs TYPE=echodevice,XiaomiDevice
   room       x-Log
   userReadings DbFileSize:reduceLogState.* { (split(' ',`du -m fhem.db`))[0] }

doman75 · 02 Juli 2019, 15:21:10

also wenn ich jetzt reducenbllog mache, dann macht er was:

Code Auswählen


reduceLogNbl finished. Rows processed: 2439830, deleted: 5917, updated: 218, time: 36.00sec

im log steht dann aber trotzdem

Code Auswählen


2019.07.02 15:18:13.653 1: PERL WARNING: DBD::SQLite::st execute failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3197.

DS_Starter · 02 Juli 2019, 15:46:29

Naja, ich meinte ob dblog Einträge schreibt.
Sieht man mit einem einem einfachen fetchrows im dbrep.

DS_Starter · 02 Juli 2019, 15:51:41

Also ich würde eine neue db anlegen zum loggen. Die jetzige hat immer noch eine Korruption wie es aussieht.
Die bisherige aber nicht wegwerfen, sondern in Ruhe die Daten zum Beispiel mit Export und Import aus der jetzigen in die neue db umziehen.
Im Wiki steht ein Beispiel wie man das machen könnte.

doman75 · 04 Juli 2019, 14:12:26

Also ich habe meine db neu erstellt und dann die alle daten wieder per insert into wieder eingelesen.

Ein reducenbllog läuft auch wieder durch ohne fehler. Aber wenn ich z.bsp die Seite "Flur"aufrufe steht im log dann immer

Code Auswählen


2019.07.04 14:05:59.051 1: PERL WARNING: DBD::SQLite::st execute failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3197.
2019.07.04 14:05:59.051 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.

Auf der Seite Gäste-WC passiert das z.bsp nicht.

beim pragma integrity_check kommt ok. beim hochfahren von fhem kommt auch kein fehler, erst bei zugriff auf bestimmte Seiten
Was kann ich noch tun um raus zu finden was hier das Problem verursacht?

Vielen Dank und grüße
Swen

doman75 · 04 Juli 2019, 14:27:07

nach einem neustart jetzt kam lange zeit (10 minuten) kein fehler, dann irgendwann kam das im log (habe mal auf verbose 5 gestellt)

kann man da irgendwas sehen?

Code Auswählen


2019.07.04 14:23:28.422 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.415 4: DbLog logdb -> check Device: AktuellePower , Event: Verbrauch: 255.69
2019.07.04 14:23:28.415 4: DbLog logdb -> number of events received: 1 for device: AktuellePower
2019.07.04 14:23:28.415 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.415 4: DbLog logdb -> ###              start of new Logcycle                       ###
2019.07.04 14:23:28.415 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.409 4: DbLog logdb -> check Device: AktuellePower , Event: calc:98:1: <html>255.69</html>
2019.07.04 14:23:28.409 4: DbLog logdb -> number of events received: 1 for device: AktuellePower
2019.07.04 14:23:28.409 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.409 4: DbLog logdb -> ###              start of new Logcycle                       ###
2019.07.04 14:23:28.409 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.404 4: DbLog logdb -> check Device: AktuellePower , Event: StromverbrauchMediaEC3000.power: <html>27.2</html>
2019.07.04 14:23:28.404 4: DbLog logdb -> number of events received: 1 for device: AktuellePower
2019.07.04 14:23:28.404 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.403 4: DbLog logdb -> ###              start of new Logcycle                       ###
2019.07.04 14:23:28.403 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.390 4: DbLog logdb -> check Device: Statistik , Event: state: Updated stats for: StromverbrauchMediaEC3000
2019.07.04 14:23:28.390 4: DbLog logdb -> number of events received: 1 for device: Statistik
2019.07.04 14:23:28.390 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.390 4: DbLog logdb -> ###              start of new Logcycle                       ###
2019.07.04 14:23:28.389 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.384 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.
2019.07.04 14:23:28.384 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.
                   FROM history WHERE 1=1 AND DEVICE  = 'Stromverbrauch_MQTT2_shelly1pm_6097BF' AND READING = 'power' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.375 4: Processing Statement: SELECT
                   FROM history WHERE 1=1 AND DEVICE  = 'Stromverbrauch_MQTT2_shelly1pm_6097BF' AND READING = 'consumption' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.373 4: Processing Statement: SELECT
2019.07.04 14:23:28.372 4: DbLog logdb -> main PID: 900, secondary PID: 1388
2019.07.04 14:23:28.372 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.372 4: DbLog logdb -> ###                  new get data for SVG                    ###
2019.07.04 14:23:28.371 4: DbLog logdb -> ################################################################
                   FROM history WHERE 1=1 AND DEVICE  = 'Stromverbrauch_MQTT2_shelly1pm_6096B2' AND READING = 'power' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.361 4: Processing Statement: SELECT
                   FROM history WHERE 1=1 AND DEVICE  = 'Stromverbrauch_MQTT2_shelly1pm_6096B2' AND READING = 'consumption' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.359 4: Processing Statement: SELECT
2019.07.04 14:23:28.357 4: DbLog logdb -> main PID: 900, secondary PID: 1387
2019.07.04 14:23:28.357 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.357 4: DbLog logdb -> ###                  new get data for SVG                    ###
2019.07.04 14:23:28.357 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.350 1: PERL WARNING: DBD::SQLite::st execute failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3197.
                   FROM history WHERE 1=1 AND DEVICE  = 'STROMSTAND' AND READING = 'consumption' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' GROUP BY strftime('%Y-%m-%d %H', TIMESTAMP) ORDER BY TIMESTAMP
                  MAX(VALUE)
                  MAX(READING) AS READING,
                  MAX(DEVICE) AS DEVICE,
                  MAX(TIMESTAMP) AS TIMESTAMP,
                   FROM history WHERE 1=1 AND DEVICE  = 'STROMSTAND' AND READING = 'consumption' AND TIMESTAMP < '2019-07-04 00:00:00' AND TIMESTAMP > date('2019-07-04 00:00:00','-1 day') UNION ALL SELECT
                  MAX(VALUE)
                  MAX(READING) AS READING,
                  MAX(DEVICE) AS DEVICE,
                  MAX(TIMESTAMP) AS TIMESTAMP,
2019.07.04 14:23:28.347 4: Processing Statement: SELECT
2019.07.04 14:23:28.346 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.
2019.07.04 14:23:28.346 1: PERL WARNING: DBD::SQLite::st fetch failed: database disk image is malformed at ./FHEM/93_DbLog.pm line 3231.
                   FROM history WHERE 1=1 AND DEVICE  = 'STROMSTAND' AND READING = 'consumption' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.345 4: Processing Statement: SELECT
2019.07.04 14:23:28.344 4: DbLog logdb -> main PID: 900, secondary PID: 1386
2019.07.04 14:23:28.344 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.344 4: DbLog logdb -> ###                  new get data for SVG                    ###
2019.07.04 14:23:28.344 4: DbLog logdb -> ################################################################
                   FROM history WHERE 1=1 AND DEVICE  = 'Dummy_StromverbrauchHaus_DI' AND READING = 'power' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.338 4: Processing Statement: SELECT
2019.07.04 14:23:28.332 1: PERL WARNING: Argument "auto" isn't numeric in subtraction (-) at ./FHEM/98_SVG.pm line 1992.
2019.07.04 14:23:28.331 1: PERL WARNING: Argument "manual" isn't numeric in subtraction (-) at ./FHEM/98_SVG.pm line 1992.
                   FROM history WHERE 1=1 AND DEVICE  = 'HM_StromverbrauchHaus' AND READING = 'power' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.329 4: Processing Statement: SELECT
2019.07.04 14:23:28.328 4: DbLog logdb -> main PID: 900, secondary PID: 1385
2019.07.04 14:23:28.328 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.328 4: DbLog logdb -> ###                  new get data for SVG                    ###
2019.07.04 14:23:28.328 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.326 1: PERL WARNING: Argument "auto" isn't numeric in numeric gt (>) at ./FHEM/98_SVG.pm line 1560.
2019.07.04 14:23:28.326 1: PERL WARNING: Argument "manual" isn't numeric in numeric gt (>) at ./FHEM/98_SVG.pm line 1560.
                   FROM history WHERE 1=1 AND DEVICE  = 'Tagesverbrauch_StromEuro' AND READING = 'costs' AND TIMESTAMP >= '2019-06-05 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.307 4: Processing Statement: SELECT
                   FROM history WHERE 1=1 AND DEVICE  = 'wf_Haustuer' AND READING = 'onoff' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.307 4: Processing Statement: SELECT
                   FROM history WHERE 1=1 AND DEVICE  = 'fl_Thermostat' AND READING = 'valveposition' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.306 4: Processing Statement: SELECT
                   FROM history WHERE 1=1 AND DEVICE  = 'Tagesverbrauch_Strom' AND READING = 'consumption' AND TIMESTAMP >= '2019-06-05 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.306 4: Processing Statement: SELECT
2019.07.04 14:23:28.304 4: DbLog logdb -> main PID: 900, secondary PID: 1384
2019.07.04 14:23:28.304 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.304 4: DbLog logdb -> ###                  new get data for SVG                    ###
2019.07.04 14:23:28.304 4: DbLog logdb -> ################################################################
                   FROM history WHERE 1=1 AND DEVICE  = 'fl_Wandthermostat' AND READING = 'temperature' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.303 4: Processing Statement: SELECT
                   FROM history WHERE 1=1 AND DEVICE  = 'fl_Wandthermostat' AND READING = 'desiredTemperature' AND TIMESTAMP >= '2019-07-04 00:00:00' AND TIMESTAMP <= '2019-07-05 00:00:00' ORDER BY TIMESTAMP
                  VALUE
                  READING,
                  DEVICE,
                  TIMESTAMP,
2019.07.04 14:23:28.300 4: Processing Statement: SELECT
2019.07.04 14:23:28.299 4: DbLog logdb -> main PID: 900, secondary PID: 1383
2019.07.04 14:23:28.299 4: DbLog logdb -> ################################################################
2019.07.04 14:23:28.299 4: DbLog logdb -> ###                  new get data for SVG                    ###
2019.07.04 14:23:28.299 4: DbLog logdb -> ################################################################
2019.07.04 14:23:27.438 4: DbLog logdb -> added event - Timestamp: 2019-07-04 14:23:27, Device: StromverbrauchKueche4EC3000, Type: EC3000, Event: power: 4.6, Reading: power, Value: 4.6, Unit: 
2019.07.04 14:23:27.438 5: DbLog logdb -> parsed Event: StromverbrauchKueche4EC3000 , Event: power: 4.6
2019.07.04 14:23:27.435 4: DbLog logdb -> check Device: StromverbrauchKueche4EC3000 , Event: power: 4.6
2019.07.04 14:23:27.435 4: DbLog logdb -> number of events received: 1 for device: StromverbrauchKueche4EC3000
2019.07.04 14:23:27.435 4: DbLog logdb -> ################################################################
2019.07.04 14:23:27.435 4: DbLog logdb -> ###              start of new Logcycle                       ###
2019.07.04 14:23:27.435 4: DbLog logdb -> ################################################################
2019.07.04 14:23:27.428 4: DbLog logdb -> check Device: AktuellePower , Event: Verbrauch: 255.19
2019.07.04 14:23:27.428 4: DbLog logdb -> number of events received: 1 for device: AktuellePower

DS_Starter · 04 Juli 2019, 14:59:08

Hallo Swen,

man sieht an dem DBD::SQLite::st fetch dass es sich um das Lesen von Daten handelt und weiter wird auch deutlich dass beim Aufruf eines Plots passiert.
Das passt auch zu deiner Darstellung den Fehler in einem Raum zu haben und in einem anderen nicht. Hat nichts mit dem Raum zu tun, sondern mit dem Plot darin.

Also ich bin mir jetzt nicht sicher, aber ich vermute du hast ein Problem mit der Hardware, dass ein bestimmter Cluster nicht gelesen werden kann. Würde auch zu dem reducelog passen. Der Fehler kommt solange nicht, wie diese Stelle nicht gelesen werden muss.

Nutzt du als Speicher eine SD Karte ? Wenn ja, könnte ein Tausch abhilfe bringen oder weitere Erkenntnisse.
Mehr fällt mir momentan leider nicht dazu ein.

Grüße,
Heiko

doman75 · 04 Juli 2019, 15:56:22

Hallo, also mein FHEM läuft einem Dell Latitude D5470 mit einer Samsung EVO850 SSD.

Bei dem einen Gerät welcher Plot z.bsp betroffen ist habe ich für einen halben Tag ca. 1600 log EInträge, für andere in der regel maximal 400.
Kann es sein das das zuviele Werte sind?

Einen Hardware defekt würde ich zwar nicht gänzlich ausschließen aber das reducenbllog funtkioniert ja wieder. kann ich das reducenbllog auch für ein einzelnes gerät anwenden? Also um von besagten gerät ein average zu machen auch für den aktuellen tag.

Grüße
Swen

DS_Starter · 04 Juli 2019, 17:58:37

Ein Zuviel an zu loggenden daten würde ich ausschliessen. Solche Probleme werden m.M. dadurch nicht hervorgerufen. Dafür ist es ja eine Datenbank.

Ich würde dir reduceLog im dbrep empfehlen. Dort kannst du bessere und mehr Eingrenzungen vornehmen. Ausserdem die db für dblog für die Zeit des reduce schliessen usw.
Die eingrenzung auch für ein bestimmtes device vorzunehmen sollte gehen mit dem setzen des attr device.

Lg