DbLog - Umstellung Betrieb auf SubProcess -> Tester gesucht

DS_Starter · 29 Dezember 2022, 09:01:52

Zitat
Allerdings habe ich noch ein weiteres Finding:
Bei mir steht das Attribut asyncMode auf 1 - und daher wird in den Internals bei MODE=asynchronous angezeigt.

Danke, Ist gefixt im contrib.
Ich habe die Lösung von gestern auch nochmal abgeändert. So richtig gefallen hat es mir nicht.
Deswegen die Version nochmal aus dem contrib ziehen und beide Fixes testen.

LG

nog76 · 29 Dezember 2022, 09:35:40

Habe die neueste Version jetzt getestet:
Beide Probleme sind damit behoben

DS_Starter · 29 Dezember 2022, 09:39:11

Sehr schön.
Ich checke die neue V ein. Sie ist dann morgen früh im Update enthalten.

thburkhart · 02 Januar 2023, 12:13:51

Guten Neues wünsche ich allen!

eben stelle ich fest, dass mein FHEM sich nicht mehr updated:

Code Auswählen

Result of version check
Used Perl version: 5.32.1
Used DBI (Database independent interface) version: 1.643
Used DBD (Database driver) version Undefined
Used DbLog version: 5.5.3.
A new DbLog version is available (creation time: 2022-12-30_07:45:03, size: 469411 bytes)
Recommendation: You should update FHEM to get the recent DbLog version from repository !

habe mehrfach update gefahren; dennoch

Code Auswählen

Downloading https://fhem.de/fhemupdate/controls_fhem.txt

fhem
List of new / modified files since last update:
UPD ./CHANGED
UPD FHEM/00_KNXIO.pm
UPD FHEM/00_MQTT2_CLIENT.pm
UPD FHEM/00_MQTT2_SERVER.pm
UPD FHEM/01_FHEMWEB.pm
UPD FHEM/10_CUL_HM.pm
UPD FHEM/10_KNX.pm
UPD FHEM/36_ShellyMonitor.pm
UPD FHEM/70_ESCVP21net.pm
UPD FHEM/70_SVDRP.pm
UPD FHEM/93_DbLog.pm
UPD FHEM/93_DbRep.pm
UPD FHEM/93_FHEM2FHEM.pm
UPD FHEM/98_DOIF.pm
UPD FHEM/98_HMinfo.pm
UPD FHEM/98_monitoring.pm
UPD FHEM/HttpUtils.pm
UPD FHEM/lib/AttrTemplate/mqtt2.template
UPD docs/commandref_frame.html
UPD docs/commandref_frame_DE.html
UPD lib/FHEM/SynoModules/SMUtils.pm
UPD www/images/fhemSVG/automower.svg
Downloading https://raw.githubusercontent.com/dominikkarall/fhempy/master/controls_pythonbinding.txt

pythonbinding
nothing to do...

im Log steht:

Code Auswählen

2023.01.02 12:10:52 1 : open ./FHEM/93_DbLog.pm failed: Permission denied, trying to restore the previous version and aborting the update

liegt es daran? und was tun?

vielen Dank

Thomas

DS_Starter · 02 Januar 2023, 12:28:09

Hallo Thomas,

die gleichen Wünsche von mir!

Du gehst auf Betriebssystemnebene und machst das File beschreibbar:

Code Auswählen


   sudo chown fhem:dialout /opt/fhem/FHEM/93_DbLog.pm
   sudo chmod 775 /opt/fhem/FHEM/93_DbLog.pm

Das Update sollte dann wieder laufen.

LG

thburkhart · 02 Januar 2023, 16:12:22

oh danke

update lief wieder ..

ich habe immer noch den Fehler:

Code Auswählen

2023.01.02 16:03:02 3: dblog_THB_notify_1 return value: HASH(0x5351fd0)
2023.01.02 16:03:32 3: dblog_THB_notify_1 return value: HASH(0x543fff0)
2023.01.02 16:04:02 3: dblog_THB_notify_1 return value: HASH(0x5439c60)
2023.01.02 16:04:32 3: dblog_THB_notify_1 return value: HASH(0x524e098)
2023.01.02 16:05:02 3: dblog_THB_notify_1 return value: HASH(0x4b673b8)
2023.01.02 16:05:32 3: dblog_THB_notify_1 return value: HASH(0x51db9f8)
2023.01.02 16:06:02 3: dblog_THB_notify_1 return value: HASH(0x4b51e68)

DS_Starter · 02 Januar 2023, 16:16:19

Zitatich habe immer noch den Fehler:

Das ist imho kein Fehler, sondern nur eine Rückmeldung des Notify dblog_THB_notify_1 (wie schon geschrieben).
Wenn das notify tut, was es soll, setzt du in dem notify verbose=2.

Kannst uns ja mal ein List des Notify zeigen.

thburkhart · 02 Januar 2023, 16:42:24

Zitat von: DS_Starter am 02 Januar 2023, 16:16:19

Kannst uns ja mal ein List des Notify zeigen.

gerne:

Code Auswählen

[code]define dblog_THB_notify_1 notify dblog_THB:CacheOverflowLastNum:.0 {}
#   DEF        dblog_THB:CacheOverflowLastNum:.0 {}
#   FUUID      63a190a0-f33f-fd5f-0099-c04e18177b54e33b
#   NAME       dblog_THB_notify_1
#   NOTIFYDEV  dblog_THB
#   NR         44
#   NTFY_ORDER 50-dblog_THB_notify_1
#   REGEXP     dblog_THB:CacheOverflowLastNum:.0
#   STATE      2023-01-02 16:40:33
#   TRIGGERTIME 1672674033.07242
#   TYPE       notify
#   READINGS:
#     2023-01-02 16:01:10   state           active
#     2023-01-02 16:40:33   triggeredByDev  dblog_THB
#     2023-01-02 16:40:33   triggeredByEvent CacheOverflowLastNum: 0
#
setstate dblog_THB_notify_1 2023-01-02 16:40:33
setstate dblog_THB_notify_1 2023-01-02 16:01:10 state active
setstate dblog_THB_notify_1 2023-01-02 16:40:33 triggeredByDev dblog_THB
setstate dblog_THB_notify_1 2023-01-02 16:40:33 triggeredByEvent CacheOverflowLastNum: 0

[/code]

habe ja null Ahnung was das überhaupt mach oder machen soll

DS_Starter · 02 Januar 2023, 16:50:41

Zitat
habe ja null Ahnung was das überhaupt mach oder machen soll

Und warum hast du es dann angelegt ?

Also das kannst du löschen, tut sowieso nichts:

DEF dblog_THB:CacheOverflowLastNum:.0 {}

hansrijn · 04 Januar 2023, 16:15:36

Ich möchte gerne mitmachen zum testn.

Ich empfinde seit etwa 27-12-2022 auch selber ein Problem mit Dblog das ich nur lösen könnte durch ein altere Version (dd 22-12-2022) zu benutzen. Als ich das Insert das hier gezeigt wird selber mit phpmyadmin ins DB eintrage gibt es kein Problem, ebenso mit der altere 4.x.x Version.

2023.01.04 15:17:47 2: DbLog EnergieDB - Error table history - DBD::mysql::st execute failed: Incorrect string value: '\x94\x06' for column `fhem`.`history`.`EVENT` at row 1 [for Statement "INSERT INTO history (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES ('2023-01-04 15:17:46','Energiemeter','SMARTMETERHANS','ElectricityProducedNormalTariff: 0.000 kWh▒','ElectricityProducedNormalTariff','0.000 kWh▒','')"] at ./FHEM/93_DbLog.pm line 2755.

2023.01.04 15:17:51 4: ZoneMinder (MijnZM) SimpleGet calling http://192.168.1.9/zm/api/host/getLoad.json with callback CODE(0x37e7fa8)
2023.01.04 15:18:17 2: DbLog EnergieDB - Error table history - DBD::mysql::st execute failed: Incorrect string value: '\x94\x06' for column `fhem`.`history`.`EVENT` at row 1 [for Statement "INSERT INTO history (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES ('2023-01-04 15:17:46','Energiemeter','SMARTMETERHANS','ElectricityProducedNormalTariff: 0.000 kWh▒','ElectricityProducedNormalTariff','0.000 kWh▒','')"] at ./FHEM/93_DbLog.pm line 2755.

2023.01.04 15:18:41 3: Nmap (Harijn3) - starting network scan
2023.01.04 15:18:47 2: DbLog EnergieDB - Error table history - DBD::mysql::st execute failed: Incorrect string value: '\x94\x06' for column `fhem`.`history`.`EVENT` at row 1 [for Statement "INSERT INTO history (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES ('2023-01-04 15:17:46','Energiemeter','SMARTMETERHANS','ElectricityProducedNormalTariff: 0.000 kWh▒','ElectricityProducedNormalTariff','0.000 kWh▒','')"] at ./FHEM/93_DbLog.pm line 2755.

2023.01.04 15:18:48 3: Nmap (Harijn3) - network scan done
2023.01.04 15:18:51 4: ZoneMinder (MijnZM) SimpleGet calling http://192.168.1.9/zm/api/host/getLoad.json with callback CODE(0x37e7fa8)
2023.01.04 15:19:17 2: DbLog EnergieDB - Error table history - DBD::mysql::st execute failed: Incorrect string value: '\x94\x06' for column `fhem`.`history`.`EVENT` at row 1 [for Statement "INSERT INTO history (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES ('2023-01-04 15:17:46','Energiemeter','SMARTMETERHANS','ElectricityProducedNormalTariff: 0.000 kWh▒','ElectricityProducedNormalTariff','0.000 kWh▒','')"] at ./FHEM/93_DbLog.pm line 2755.

2023.01.04 15:19:47 2: DbLog EnergieDB - Error table history - DBD::mysql::st execute failed: Incorrect string value: '\x94\x06' for column `fhem`.`history`.`EVENT` at row 1 [for Statement "INSERT INTO history (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES ('2023-01-04 15:17:46','Energiemeter','SMARTMETERHANS','ElectricityProducedNormalTariff: 0.000 kWh▒','ElectricityProducedNormalTariff','0.000 kWh▒','')"] at ./FHEM/93_DbLog.pm line 2755.

2023.01.04 15:19:52 4: ZoneMinder (MijnZM) SimpleGet calling http://192.168.1.9/zm/api/host/getLoad.json with callback CODE(0x37e7fa8)
2023.01.04 15:20:13 1: RMDIR: ./restoreDir/save/2022-12-29
2023.01.04 15:20:17 2: DbLog EnergieDB - Error table history - DBD::mysql::st execute failed: Incorrect string value: '\x94\x06' for column `fhem`.`history`.`EVENT` at row 1 [for Statement "INSERT INTO history (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES ('2023-01-04 15:17:46','Energiemeter','SMARTMETERHANS','ElectricityProducedNormalTariff: 0.000 kWh▒','ElectricityProducedNormalTariff','0.000 kWh▒',''),('2023-01-04 15:20:07','Airco','MQTT_DEVICE','Kamertemperatuur: 20.0','Kamertemperatuur','20.0',''),('2023-01-04 15:20:07','Airco','MQTT_DEVICE','Buitentemperatuur: 11.5','Buitentemperatuur','11.5',''),('2023-01-04 15:20:16','Energiemeter','SMARTMETERHANS','ElectricityPowerDelivered: 0.41 kW','ElectricityPowerDelivered','0.41 kW','')"] at ./FHEM/93_DbLog.pm line 2755.

DS_Starter · 04 Januar 2023, 17:07:15

Hallo hansrijn,

gerne. Ich habe wegen eines anderen Falles ein neues Release erstellt. Es befindet sich im contrib und du kannst es gerne herunterladen und testen (Neustart nicht vergessen).

Davon abgesehen sind deine Daten aber nicht sauber. Der Hex-Code '\x94\x06' (lt. ASCII Tabelle wäre das "^ACK" ?) findet sich so wie es aussieht am Ende jeder Zeile und wird als nichtdruckbares Zeichen dargestellt.
Steht die Frage wo das herkommt, sicher nicht von DbLog.

Ich gehe davon aus dass du das Attr bulkInsert= 1 gesetzt hast, richtig ?

Du kannst auch mit der aktuellen V das Attr useCharfilter = 1 setzen und das Problem wahrscheinlich beseitigen.
Es wird interessant werden ob du auch ohne dieses Attr zu setzen mit der contrib Version 5.5.10 das Problem beseitigen wirst.

betateilchen · 04 Januar 2023, 17:24:48

Zitat von: DS_Starter am 04 Januar 2023, 17:07:15
Steht die Frage wo das herkommt, sicher nicht von DbLog.

Code Auswählen

VALUES ('2023-01-04 15:17:46','Energiemeter','SMARTMETERHANS',...

device TYPE = SMARTMETERHANS ???

Das ist irgendwas selbstgestricktes...

thburkhart · 04 Januar 2023, 18:13:48

Zitat von: DS_Starter am 02 Januar 2023, 16:50:41
Und warum hast du es dann angelegt ?

Also das kannst du löschen, tut sowieso nichts:

DEF dblog_THB:CacheOverflowLastNum:.0 {}

aus Unwissen

vielen Dank für die Aufklärung

RockThisParty · 06 Januar 2023, 10:27:03

Moin!
Ich mache mal einen Querverweis, da ich nicht so genau weiß, wo das Thema zu verorten ist. Ich habe - gefühlt seit der Umstellung im dblog - einen extrem langsamen Aufbau meiner SVGs. Die brauchen 20 Sekunden während die Seite drumrum schon da ist.
Details hier:
https://forum.fhem.de/index.php/topic,131396.0.html

Bin für Hinweise dankbar. Falls es hilft, hier das Listing von dblog:

Code Auswählen

 Internals:
   COLUMNS    field length used for Device: 64, Type: 64, Event: 512, Reading: 64, Value: 128, Unit: 32 
   CONFIGURATION ./db.conf
   DEF        ./db.conf .*:(1.ACTUAL_TEMPERATURE|1.HUMIDITY).*
   FD         5
   FUUID      5ff78651-f33f-d7f8-4c3f-689a9e08ff48d5d8
   FVERSION   93_DbLog.pm:v5.5.9-s26923/2022-12-29
   MODE       asynchronous
   MODEL      MYSQL
   NAME       logdb
   NR         2
   NTFY_ORDER 50-logdb
   PID        4164
   REGEXP     .*:(1.ACTUAL_TEMPERATURE|1.HUMIDITY).*
   SBP_PID    4177
   SBP_STATE  running
   STATE      connected
   TYPE       DbLog
   UTF8       1
   dbconn     mysql:database=fhem;host=192.168.178.2;port=3306
   dbuser     fhem
   eventCount 37
   HELPER:
     COLSET     1
     DEVICECOL  64
     EVENTCOL   512
     OLDSTATE   connected
     PACKAGE    main
     READINGCOL 64
     TC         current
     TH         history
     TYPECOL    64
     UNITCOL    32
     VALUECOL   128
     VERSION    5.5.9
   OLDREADINGS:
   READINGS:
     2023-01-06 10:21:50   CacheOverflowLastNum 0
     2022-01-28 09:41:23   CacheOverflowLastState normal
     2023-01-06 10:21:50   CacheUsage      4
     2023-01-06 10:21:50   NextSync        2023-01-06 10:22:20 or when CacheUsage 500 is reached
     2023-01-06 10:21:51   state           connected
Attributes:
   DbLogSelectionMode Include
   asyncMode  1
   room       Zentral->Zentral

DS_Starter · 06 Januar 2023, 10:41:44

Speziell zu SVG + Umstellung DbLog verweise ich auf: https://forum.fhem.de/index.php/topic,130743.msg1253560.html#msg1253560 -> keine Änderungen !

Aber in deinem verlinkten Beitrag sehe ich Einträge die nicht ok sind.

Da die V5 abwärtskompatibel zur V4 ist, kannst du dir die letzte V4 laden und vergleichend testen.
Die letzte V4 kannst du hier laden:

https://svn.fhem.de/trac/browser/trunk/fhem/FHEM/93_DbLog.pm?rev=26750