Modul 93_DbRep - Reporting und Management von Datenbankinhalten (DbLog)

JWRu · 11 November 2024, 12:00:00

Zitat@JWRu, auch eigenartig. Ich habe ca. 160 DbReps laufen und keins dieser Devices generiert fortwährend Events nachdem es fertig ist. Gerade auch nochmal mit einem "delete" ausprobiert um deinen Case nachzustellen.
Kannst du eigentlich nur mal schauen ob du dir eine Logik eingebaut hast, vllt. ein sich wiederholendes at oder ein notify, welches das DbRep Device ständig antriggert. Man kann sich natürlich auch mit dem Attribut "executeAfterProc" selbst ein Schleife einbauen.

Hier mal ein List des Device:

Code Auswählen

Internals:
   DATABASE   fhem
   DEF        myDbLog
   FUUID      5d11f4c1-f33f-c1fa-bc18-f800d6f8eda4eb9e
   FVERSION   93_DbRep.pm:v8.53.15-s29081/2024-08-18
   LASTCMD    delEntries
   MODEL      Client
   NAME       myDbRep_delEntries
   NOTIFYDEV  global,myDbRep_delEntries
   NR         246
   NTFY_ORDER 50-myDbRep_delEntries
   ROLE       Client
   STATE      done
   TYPE       DbRep
   UTF8       1
   eventCount 16846188
   HELPER:
     DBLOGDEVICE myDbLog
     GRANTS     SELECT,DELETE,USAGE,INSERT,UPDATE
     IDRETRIES  2
     MINTS      2023-12-25 00:30:00
     PACKAGE    main
     VERSION    8.53.15
     CV:
       aggregation no
       aggsec     1
       destr      2024-10-14
       dsstr      2023-12-25
       epoch_seconds_end 1728898887.27783
       mestr      10
       msstr      12
       testr      11:41:27
       tsstr      00:30:00
       wdadd      604800
       yestr      2024
       ysstr      2023
     DBREPCOL:
       COLSET     1
       DEVICE     64
       EVENT      512
       READING    64
       TYPE       64
       UNIT       32
       VALUE      128
   OLDREADINGS:
   READINGS:
     2024-11-11 11:42:12   EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY 138900
     2024-11-11 11:41:46   background_processing_time 17.5891
     2024-11-11 11:41:46   sql_processing_time 17.5750
     2024-11-11 11:41:46   state           done
Attributes:
   device     EXCLUDE=Luftdruckmesser,Regenmesser,Klima_aussen,Klima_Wohnzimmer,MQTT2_ESP8266_Sensor_03,MQTT2_ESP8266_Sensor_04,MQTT2_ESP8266_Sensor_05,MQTT2_Ahoy_DTU_971008
   event-on-change-reading .*
   expimpfile /opt/fhem/backup/DbLog/DBExport_%Y-%m-%d.csv
   reading    EXCLUDE=pressure,rain_total,humidity,temperature,SoilTemp,VolumeWaterContent,Level,WindSpeedAverage,P_AC,YieldDay
   room       System->Main
   showproctime 1
   timeOlderThan d:28
   useAdminCredentials 0
   verbose    3
   widgetOverride device:textField-long

Das Device wird jede Nacht einmalig über ein at aufgerufen: "set myDbRep_delEntries delEntries" und sonst nirgendwo verwendet.
Ich war jetzt zwei Wochen unterwegs. In dieser Zeit lief das at jede Nacht. Mit gesetztem event-on-change-reading .* gab es keinerlei Auffälligkeiten bezüglich Systemlast.

Ich habe jetzt testweise den Event monitor laufen lassen, event-on-change-reading gelöscht und "set myDbRep_delEntries delEntries" händisch ausgelöst.
Nach dem Ende des Laufs gibt es eine Flut von Events, die erst aufhören, wenn man event-on-change-reading wieder setzt:

Code Auswählen

2024-11-11 11:41:01 Global global DELETEATTR myDbRep_delEntries event-on-change-reading
2024-11-11 11:41:28 DbRep myDbRep_delEntries running
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries background_processing_time: 17.5891
2024-11-11 11:41:46 DbRep myDbRep_delEntries sql_processing_time: 17.5750
2024-11-11 11:41:46 DbRep myDbRep_delEntries done
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:46 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:47 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900
2024-11-11 11:41:48 DbRep myDbRep_delEntries EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 138900

DS_Starter · 03 Dezember 2024, 09:17:23

Hallo JWRu,

ich kann das Verhalten bei mir nicht nachstellen.
Testweise ein DbRep:

Code Auswählen

defmod Rep.Del.Data DbRep LogDB
attr Rep.Del.Data aggregation no
attr Rep.Del.Data disable 0
attr Rep.Del.Data event-on-change-reading .*
attr Rep.Del.Data reading stat_cpu3_percent
attr Rep.Del.Data room DbLog
attr Rep.Del.Data showproctime 1
attr Rep.Del.Data sqlCmdHistoryLength 5
attr Rep.Del.Data timeDiffToNow d:4
attr Rep.Del.Data verbose 2

Ein "set .. delEntries" manuell ausgeführt.
Im Eventmonitor erscheint lediglich einmalig:

Code Auswählen

2024-12-03 09:16:21.947 DbRep Rep.Del.Data running
2024-12-03 09:16:24.398 DbRep Rep.Del.Data /--stat_cpu3_percent--DELETED_ROWS_HISTORY: 1428
2024-12-03 09:16:24.398 DbRep Rep.Del.Data background_processing_time: 2.3718
2024-12-03 09:16:24.398 DbRep Rep.Del.Data sql_processing_time: 2.3582
2024-12-03 09:16:24.410 DbRep Rep.Del.Data done

Da kann ich aktuelle keine Idee beisteuern.

LG,
Heiko

JWRu · 03 Dezember 2024, 11:27:10

Zitatich kann das Verhalten bei mir nicht nachstellen.

Es ist klar, dass da nichts kommt. Wenn ich event-on-change-reading .* setze, sieht's bei mir genauso aus.

Was passiert denn, wenn du event-on-change-reading löschst?

DS_Starter · 03 Dezember 2024, 12:43:21

Code Auswählen

defmod Rep.Del.Data DbRep LogDB
attr Rep.Del.Data aggregation no
attr Rep.Del.Data disable 0
attr Rep.Del.Data reading stat_cpu3_percent
attr Rep.Del.Data room DbLog
attr Rep.Del.Data showproctime 1
attr Rep.Del.Data sqlCmdHistoryLength 5
attr Rep.Del.Data timeDiffToNow d:5
attr Rep.Del.Data verbose 2

Genauso wie beschrieben nur einmalig:

Code Auswählen

2024-12-03 12:35:06.501 DbRep Rep.Del.Data running
2024-12-03 12:35:09.977 DbRep Rep.Del.Data /--stat_cpu3_percent--DELETED_ROWS_HISTORY: 1356
2024-12-03 12:35:09.977 DbRep Rep.Del.Data background_processing_time: 3.3756
2024-12-03 12:35:09.977 DbRep Rep.Del.Data sql_processing_time: 3.3618
2024-12-03 12:35:09.988 DbRep Rep.Del.Data done

DS_Starter · 03 Dezember 2024, 13:00:57

Habe jetzt der Vollständigkeit halber die EXCLUDE noch mit eingefügt, aber ebenfalls ohne Beanstandung:

Code Auswählen

defmod Rep.Del.Data DbRep LogDB
attr Rep.Del.Data aggregation no
attr Rep.Del.Data device EXCLUDE=Luftdruckmesser,Regenmesser,Klima_aussen,Klima_Wohnzimmer,MQTT2_ESP8266_Sensor_03,MQTT2_ESP8266_Sensor_04,MQTT2_ESP8266_Sensor_05,MQTT2_Ahoy_DTU_971008
attr Rep.Del.Data disable 0
attr Rep.Del.Data reading stat_cpu3_percent EXCLUDE=pressure,rain_total,humidity,temperature,SoilTemp,VolumeWaterContent,Level,WindSpeedAverage,P_AC,YieldDay
attr Rep.Del.Data room DbLog
attr Rep.Del.Data showproctime 1
attr Rep.Del.Data sqlCmdHistoryLength 5
attr Rep.Del.Data timeDiffToNow d:6
attr Rep.Del.Data verbose 2

Code Auswählen

2024-12-03 12:58:39.490 DbRep Rep.Del.Data running
2024-12-03 12:58:43.638 DbRep Rep.Del.Data EXCLUDE/Luftdruckmesser/Regenmesser/Klima_aussen/Klima_Wohnzimmer/MQTT2_ESP8266_Sensor_03/MQTT2_ESP8266_Sensor_04/MQTT2_ESP8266_Sensor_05/MQTT2_Ahoy_DTU_971008--stat_cpu3_percent/EXCLUDE/pressure/rain_total/humidity/temperature/SoilTemp/VolumeWaterContent/Level/WindSpeedAverage/P_AC/YieldDay--DELETED_ROWS_HISTORY: 1428
2024-12-03 12:58:43.638 DbRep Rep.Del.Data background_processing_time: 4.0752
2024-12-03 12:58:43.638 DbRep Rep.Del.Data sql_processing_time: 4.0216
2024-12-03 12:58:43.650 DbRep Rep.Del.Data done

JWRu · 03 Dezember 2024, 18:24:32

Ok - dann verstehe ich nicht, was bei mir abläuft.
Da mit gesetztem event-on-change-reading bei mir alles bestens läuft, beende ich die Sache mal - vielen Dank!

MadMax · 14 Dezember 2024, 15:01:54

Hallo Heiko,

ist es möglich mit überschaubaren aufwand eine "Statistik" der Datenbank zu bekommen.
Also eine Tabelle mit device und reading die die meisten einträge in der Datenbank haben.

So in der Art?
Device -- Reading -- Anzahl
Inverter -- PWR -- 50000
Inverter -- DC_PWR -- 40000
Heizung -- Leistung -- 30000

Ich vermite das mir eine device die Datenbank voll müllt... 1GB pro Monat ist schon viel...

Danke
Gruß
Max

300P · 14 Dezember 2024, 15:55:04

Hallo Max,

wie wäre es zu Anfang mit:

set xyxyxyxyx countEntries history
und vorher setzt du noch
attr xyxyxyxyx countEntriesDetail 1

Code Auswählen

countEntriesDetail

Wenn gesetzt, erstellt die Funktion "countEntries" eine detallierte Ausgabe der Datensatzzahl pro Reading und Zeitintervall. Standardmäßig wird nur die Summe aller selektierten Datensätze ausgegeben

Nachsatz:

Oder etwa kürzer per SQL-Abfrage :

Code Auswählen

SELECT
	device,
	count(*)
FROM
	history
GROUP BY
	DEVICE
ORDER BY
	`Count(*)` DESC;

tobi01001 · 14 Dezember 2024, 16:11:40

Das gibt es schon.

Schau mal den Befehl sqlspecial allDevReadCount an.
Kann man auch für die 50 mit den meisten machen.

LG

MadMax · 14 Dezember 2024, 19:10:07

Klasse, danke.
Ich hatte gegoogelt und im Wiki geschaut aber nix gefunden.

MadMax · 15 Dezember 2024, 13:40:20

Zitat von: 300P am 14 Dezember 2024, 15:55:04Hallo Max,

wie wäre es zu Anfang mit:

set xyxyxyxyx countEntries history
und vorher setzt du noch
attr xyxyxyxyx countEntriesDetail 1

Code Auswählen Erweitern
countEntriesDetail Wenn gesetzt, erstellt die Funktion "countEntries" eine detallierte Ausgabe der Datensatzzahl pro Reading und Zeitintervall. Standardmäßig wird nur die Summe aller selektierten Datensätze ausgegeben

Das funktioniert schon ganz gut, jetzt weiß ich das State sehr oft geloggt wird aber von welchem device fehlt hier in der Abfrage.

Gruß
Max

MadMax · 15 Dezember 2024, 13:43:04

Das bringt genau das Ergebniss was ich wollte.

Code Auswählen

SELECT
	device,reading,
	count(*)
FROM
	history
GROUP BY
	DEVICE, READING
ORDER BY
	`Count(*)` DESC;

Danke.

DS_Starter · 15 Dezember 2024, 14:24:44

Hi Max,

mit dem Attr sqlResultFormat=table und dem Befehl "set ... sqlSpecial 50DevReadCount" (oder allDevReadCount) bekommst du so eine übersichtiche Tabelle wie im Anhang.

LG
Du darfst diesen Dateianhang nicht ansehen.

MadMax · 15 Dezember 2024, 15:12:03

Hallo Heiko,

vielen dank, es ist ein Traum mit dir.
Danke auch an die anderen.

Gruß
Max

tobi01001 · 16 Dezember 2024, 08:06:40

Hallo Heiko,

ich bekomme neuerdings bei (fast) jedem reduceLog average einen Abbruch mit folgender Meldung:
2024.12.16 02:34:39 2: DbRep myDbRep - ERROR - reduceLog average failed for day 2024-09-17: DBD::mysql::st execute failed: Duplicate entry '2024-09-17 01:30:00-HT_WP_EnergyMeter-energy_sum' for key 'history.PRIMARY' at /opt/fhem/FHEM/93_DbRep.pm line 10317.

Code Auswählen

2024.12.16 02:30:30 3: DbRep myDbRep - ################################################################
2024.12.16 02:30:30 3: DbRep myDbRep - ###                    new reduceLog run                     ###
2024.12.16 02:30:30 3: DbRep myDbRep - ################################################################
2024.12.16 02:30:30 4: DbRep myDbRep - -------- New selection --------- 
2024.12.16 02:30:30 4: DbRep myDbRep - Command: reduceLog 90:91
2024.12.16 02:30:30 4: DbRep myDbRep - timeDiffToNow - year: , day: 91, hour: , min: , sec: 
2024.12.16 02:30:30 4: DbRep myDbRep - Year 2024 is leap year
2024.12.16 02:30:30 4: DbRep myDbRep - startMonth: 8 endMonth: 11 lastleapyear:  baseYear: 2024 diffdaylight:1 isdaylight:0
2024.12.16 02:30:30 4: DbRep myDbRep - timeOlderThan - year: 0, day: 90, hour: 0, min: 0, sec: 0
2024.12.16 02:30:30 4: DbRep myDbRep - Year 2024 is leap year
2024.12.16 02:30:30 4: DbRep myDbRep - startMonth: 5 endMonth: 8 lastleapyear:  baseYear: 2024 diffdaylight:1 isdaylight:0
2024.12.16 02:30:30 4: DbRep myDbRep - FullDay option: 1
2024.12.16 02:30:30 4: DbRep myDbRep - Time difference to current time for calculating Timestamp begin: 7866001 sec
2024.12.16 02:30:30 5: DbRep myDbRep - Timestamp begin epocheseconds: 1726437600
2024.12.16 02:30:30 4: DbRep myDbRep - Timestamp begin human readable: 2024-09-16 00:00:00
2024.12.16 02:30:30 5: DbRep myDbRep - Timestamp end epocheseconds: 1726610399
2024.12.16 02:30:30 4: DbRep myDbRep - Timestamp end human readable: 2024-09-17 23:59:59
2024.12.16 02:30:30 5: DbRep myDbRep - weekday start for selection: Mo  ->  wdadd: 604800
2024.12.16 02:30:30 5: DbRep myDbRep - BlockingCall with PID "2732823" started
2024.12.16 02:30:30 4: DbRep myDbRep - Database Model: MYSQL
2024.12.16 02:30:30 4: DbRep myDbRep - Database connect - user: fhem_db_user, UTF-8 option set: yes
2024.12.16 02:30:30 4: DbRep myDbRep - SQL execute: SHOW VARIABLES LIKE 'collation_database'
2024.12.16 02:30:30 4: DbRep myDbRep - Database Character set is >utf8mb4_bin<
2024.12.16 02:30:30 4: DbRep myDbRep - simple do statement: set names "utf8mb4" collate "utf8mb4_bin"
2024.12.16 02:30:30 5: DbRep myDbRep - Devices for operation - 
included (1): % 
included with wildcard:  
excluded (0):  
excluded with wildcard: 
2024.12.16 02:30:30 5: DbRep myDbRep - Readings for operation - 
included (1): % 
included with wildcard:  
excluded (0):  
excluded with wildcard: 
2024.12.16 02:30:30 5: DbRep myDbRep - IsTimeSet: 1, IsAggrSet: 0
2024.12.16 02:30:30 5: DbRep myDbRep - Devices for operation - 
included (1): % 
included with wildcard:  
excluded (0):  
excluded with wildcard: 
2024.12.16 02:30:30 5: DbRep myDbRep - Readings for operation - 
included (1): % 
included with wildcard:  
excluded (0):  
excluded with wildcard: 
2024.12.16 02:30:30 3: DbRep myDbRep - reduce data older than: 2024-09-17 23:59:59, newer than: 2024-09-16 00:00:00
2024.12.16 02:30:30 3: DbRep myDbRep - reduceLog requested with options: 
average
INCLUDE -> Devs: % Readings: %
2024.12.16 02:30:30 4: DbRep myDbRep - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND (VALUE=?)
2024.12.16 02:30:30 4: DbRep myDbRep - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND VALUE IS NULL
2024.12.16 02:30:30 4: DbRep myDbRep - SQL prepare: UPDATE history SET TIMESTAMP=?, EVENT=?, VALUE=? WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND (VALUE=?)
2024.12.16 02:30:30 4: DbRep myDbRep - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?)
2024.12.16 02:30:30 4: DbRep myDbRep - SQL prepare: UPDATE history SET TIMESTAMP=?, EVENT=?, VALUE=? WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?)
2024.12.16 02:30:30 4: DbRep myDbRep - SQL execute: SELECT TIMESTAMP,DEVICE,'',READING,VALUE FROM history where  VALUE REGEXP '[^0^1]$' AND TIMESTAMP >= '2024-09-16 00:00:00' AND TIMESTAMP <= '2024-09-17 23:59:59' ORDER BY TIMESTAMP ASC;
2024.12.16 02:30:32 3: DbRep myDbRep - reduceLog deleting 268638 records of day: 2024-09-17
2024.12.16 02:30:32 4: DbRep myDbRep - begin transaction
...
2024.12.16 02:34:39 4: DbRep myDbRep - UPDATE history SET TIMESTAMP=2024-09-17 00:30:00, EVENT=rl_av_h, VALUE=8511.3478 WHERE DEVICE=PM_UG_IT_Partyraum AND READING=stat_Energy_totalMonth AND TIMESTAMP=2024-09-17 00:01:25 AND VALUE=8501.600000002518
2024.12.16 02:34:39 4: DbRep myDbRep - UPDATE history SET TIMESTAMP=2024-09-17 01:30:00, EVENT=rl_av_h, VALUE=4047409.5043 WHERE DEVICE=HT_WP_EnergyMeter AND READING=energy_sum AND TIMESTAMP=2024-09-17 01:01:01 AND VALUE=4047393
2024.12.16 02:34:39 2: DbRep myDbRep - ERROR - reduceLog average failed for day 2024-09-17: DBD::mysql::st execute failed: Duplicate entry '2024-09-17 01:30:00-HT_WP_EnergyMeter-energy_sum' for key 'history.PRIMARY' at /opt/fhem/FHEM/93_DbRep.pm line 10317.

2024.12.16 02:34:40 4: DbRep myDbRep - transaction rollback
...

Ich verstehe zwar was die Fehlermeldung mir sagen will und natürlich ist auch ein entsprechender Eintrag in der DB vorhanden. Leider erschließt sich mir nicht, wie ich das beheben kann. Eventuell hast du einen Tipp?

Ergänzend noch folgende Frage:
Gibt es eine Möglichkeit ein "executeAfterProc" nur auszuführen, wenn der Lauf fehlerfrei beendet wurde?
Oder mach ich das am besten direkt in Perl in der art:

Code Auswählen

{(ReadingsVal("$name", "state", "error") ne "error")?fhem("set ...."):""}

Danke,
Tobias