DBLog höchster Wert des Tages behalten rest verwerfen/löschen

DS_Starter · 11 August 2022, 10:11:02

Ich habe reduceLog für die Erweiterung vorbereitet und komplett überarbeitet.
Wer die neue V testen möchte schaut bitte hier: https://forum.fhem.de/index.php/topic,53584.msg1231080.html#msg1231080

DS_Starter · 11 August 2022, 17:38:28

Ich habe die Möglichkeit für reduceLog max bzw. reduceLog max=day eingebaut -> https://forum.fhem.de/index.php/topic,53584.msg1231131.html#msg1231131

dirk.k · 14 August 2022, 18:15:23

Danke für den Aufwand.
Ich habe es mehrfach probiert ... erhalte aber nach 7-8 Minuten einen Fehler:
DBD::SQLite::st execute failed: database is locked at ./FHEM/93_DbRep.pm line 9286.

Mein Befehl:
set DbRep.logdb reduceLog 1 max include=%:Relay,MAX_SC_02543a:onoff,MAX_SC_02543a:on_off_ticker

DS_Starter · 14 August 2022, 19:47:04

Je nach Performance kann es notwendig sein die SQLite vor parallelen Schreibprozessen (DbLog) zu
schützen.
Man kann mit den Attributen im DbRep die DbLog temporär während der Laufzeit von reduceLog sperren.
DbLog sollte asynchron eingestellt sein.

Code Auswählen


executeBeforeProc  set <DbLog Device> reopen 3600
executeAfterProc  set <DbLog Device> reopen

Motivierte linke Hände · 15 August 2022, 17:00:48

Nur zum Verständnis nochmal: Verstehe ich diesen Faden dahingehend richtig, dass DbRep aktuell, wenn ich für diffValue, averageValue etc. das Attribut "devices" auf mehrere Devices setze, die Aktion nicht für jedes Device einzeln, sondern einmal aggregiert über alle Devices ausführt?

D.h. ich muss mir, wenn ich 20 Geräte habe, für die ich Differenzwerte in die DB schreiben möchte, mir 20 DbReps anlegen - oder für ein DbRep vor jedem Aufruf die Attribute ändern?

Und wenn ich das richtig verstanden habe: Geht was kaputt (weil DbRep Datenbankanfragen NBL ausführt, ich aber rapide Attribute ändere und DbRep-Anfragen auslöse), wenn ich mir eine Perl-Schleife wie die folgende baue:

Code Auswählen

 
[...]
 foreach my $dev (sort keys %defs) {
    if($defs{$dev}{TYPE} eq 'MQTT2_DEVICE') {
      if (AttrVal($defs{$dev}{NAME},'model','err') eq 'shellyPlus_1pm') {
        fhem("attr myDbRep device $defs{$dev}{NAME}";
        fhem("attr myDbRep device energy_total");
        fhem('set myDBRep diffValue writeToDB");
      } elsif (AttrVal($defs{$dev}{NAME},'model','err') eq 'shelly3em') {
        fhem("attr myDbRep device $defs{$dev}{NAME}";
        fhem("attr myDbRep device emeter_sum_total");
        fhem('set myDBRep diffValue writeToDB");
      }
    }
  }

DS_Starter · 15 August 2022, 17:38:51

Zitat
Verstehe ich diesen Faden dahingehend richtig, dass DbRep aktuell, wenn ich für diffValue, averageValue etc. das Attribut "devices" auf mehrere Devices setze, die Aktion nicht für jedes Device einzeln, sondern einmal aggregiert über alle Devices ausführt?

Ja das ist richtig. Die gesetzten devices und/ oder readings werden wie angegeben in der DB Abfrage includiert (bzw. excludiert) und aus dem Selektionsergebnis der Wert average, min, max ... ermittelt.

Zitat
D.h. ich muss mir, wenn ich 20 Geräte habe, für die ich Differenzwerte in die DB schreiben möchte, mir 20 DbReps anlegen - oder für ein DbRep vor jedem Aufruf die Attribute ändern?

Ja, normalerweise kopiert man sich einfach ein angelegtes Rep und ändert die Attribute wie gewünscht bzw. benötigt.
Das lässt man dann regelmäßig über die DB arbeiten.
Ein DbRep anzulegen und dann immer die Attr zu ändern würde zwar gehen, war aber von mir nie so gedacht für den produktiven Einsatz.

Zitat
Geht was kaputt (weil DbRep Datenbankanfragen NBL ausführt, ich aber rapide Attribute ändere und DbRep-Anfragen auslöse), wenn ich mir eine Perl-Schleife wie die folgende baue:

Es geht zwar technisch nichts kaputt, ~~aber das verwendete Device bringt in seinen Readings nicht nachvollziehbare Ergebnisse~~.
Also besser so nicht machen.
~~Außerdem würdest du massiv parallele Prozesse starten, die je nach verfügbarer Hardware zu Engpässen führen könnte.~~
Stimmt nicht, genau das habe ich per Design verboten, d.h. das Device würde erst einen neuen Prozess starten wenn der laufende beendet ist.
Besser mehrere DbRep anlegen und zeitlich "entzerrt" ausführen.
Es gibt noch die Möglichkeit eine Chain aufzubauen, die sebständig nacheinander die Aufgaben ausführt: https://wiki.fhem.de/wiki/DbRep_-_Reporting_und_Management_von_DbLog-Datenbankinhalten#Abarbeitung_einer_sequentiellen_Befehlskette_mittels_non-blocking_sqlCmd-Kommandos

dirk.k · 17 August 2022, 19:09:45

Hallo,
als Erstes ... es sieht so aus, als bekäme ich die gewünschten Maximalwerte.
Aber ich scheine noch Probleme bei der Geräteauswahl zu haben ...
mein Befehl:
set DbRep.logdb reduceLog 1 max include=%:Relay,MAX_SC_02543a:onoff,MAX_SC_02543a:on_off_ticker

Dieser scheint sich aber auch auf Devices bzw Werte auszuwirken, welche ich gar nicht abgegeben habe.
Die folgende Kurve ist weder relay noch von einem MAX-device

Vermutungen... muss INCLUDE großgeschrieben werden? Und kann ich überhaupt mehrere readings auf einmal wählen?

DS_Starter · 17 August 2022, 20:04:06

Zitat
Vermutungen... muss INCLUDE großgeschrieben werden?

Das ist korrekt -> siehe Commandref

Zitat
Und kann ich überhaupt mehrere readings auf einmal wählen?

Hier ist zu unterscheiden, ob Operatoren in der Befehlszeile angegeben werden oder nicht.
In der Commandref gibt es die Beschreibung der Arbeitsweise mit Angabe von Operatoren in der Befehlszeile oder nicht was dann zur Verwendung der Einträge in den Attributen device und reading führt. Die Beschreibung der Befehlszeilenoperatoren sind exakt zu befolgen und nicht "frei" zu interpretieren, d.h. in dem Fall sind nicht mehrere Readings angebbar.
Die Verwendung der Attr device und reading statt dessen ist sehr viel flexibler als die Befehlszeilenoperatoren, mehrere Readings sind angebbar.

cbl · 26 Juni 2023, 10:16:12

Ich hänge mich an dieses alte Thema, da ich exakt das gleiche Problem habe. Ich bin dem Beispiel von DS_Starter gefolgt (DANKE!) und bei mir werden alle Einträge gelöscht.

Zitat von: DS_Starter am 03 August 2022, 21:39:18Hier nochmal ein schrittweises Beispiel.
Dieses DbRep wird für die nachfolgenden Aktionen verwendet:

Code Auswählen Erweitern
defmod Rep.fhemtest1 DbRep LogDB1 attr Rep.fhemtest1 aggregation no attr Rep.fhemtest1 allowDeletion 1 attr Rep.fhemtest1 device MySTP_5000 attr Rep.fhemtest1 event-on-update-reading state attr Rep.fhemtest1 reading total_pac attr Rep.fhemtest1 room DbLog attr Rep.fhemtest1 showproctime 1 attr Rep.fhemtest1 timestamp_begin 2022-07-30 00:00:00 attr Rep.fhemtest1 timestamp_end 2022-07-30 23:59:59 attr Rep.fhemtest1 verbose 4
Es wird Device / Reading MySTP_5000 / total_pac verwendet, das ist die gemessene Leistung des Wechselrichters.

Zunächst ein countEntries um die aktuell vorhandenen Datensätze zu zählen:

Code Auswählen Erweitern
2022.08.03 21:02:58.866 4: DbRep Rep.fhemtest1 - -------- New selection --------- 2022.08.03 21:02:58.867 4: DbRep Rep.fhemtest1 - Command: countEntries history 2022.08.03 21:02:58.867 4: DbRep Rep.fhemtest1 - FullDay option: 0 2022.08.03 21:02:58.868 4: DbRep Rep.fhemtest1 - Timestamp begin human readable: 2022-07-30 00:00:00 2022.08.03 21:02:58.868 4: DbRep Rep.fhemtest1 - Timestamp end human readable: 2022-07-30 23:59:59 2022.08.03 21:02:58.869 4: DbRep Rep.fhemtest1 - Aggregation: no 2022.08.03 21:02:58.890 4: DbRep Rep.fhemtest1 - Database connect - user: fhemtest1, UTF-8 option set: yes 2022.08.03 21:02:58.895 4: DbRep Rep.fhemtest1 - SQL execute: SELECT COUNT(*) FROM history where ( DEVICE = 'MySTP_5000' ) AND ( READING = 'total_pac' ) AND TIMESTAMP >= '2022-07-30 00:00:00' AND TIMESTAMP <= '2022-07-30 23:59:59' ;
Ergebnis sind 763:

Code Auswählen Erweitern
READINGS: 2022-08-03 21:02:59 2022-07-30__COUNT_history__no_aggregation 763 2022-08-03 21:02:59 background_processing_time 0.9327 2022-08-03 21:02:59 sql_processing_time 0.9277 2022-08-03 21:02:59 state done
Jetzt zeige ich den Max Wert an mit maxValue display:

Code Auswählen Erweitern
2022.08.03 21:08:45.719 4: DbRep Rep.fhemtest1 - -------- New selection --------- 2022.08.03 21:08:45.720 4: DbRep Rep.fhemtest1 - Command: maxValue display 2022.08.03 21:08:45.720 4: DbRep Rep.fhemtest1 - FullDay option: 0 2022.08.03 21:08:45.721 4: DbRep Rep.fhemtest1 - Timestamp begin human readable: 2022-07-30 00:00:00 2022.08.03 21:08:45.721 4: DbRep Rep.fhemtest1 - Timestamp end human readable: 2022-07-30 23:59:59 2022.08.03 21:08:45.722 4: DbRep Rep.fhemtest1 - Aggregation: no 2022.08.03 21:08:45.746 4: DbRep Rep.fhemtest1 - Database connect - user: fhemtest1, UTF-8 option set: yes 2022.08.03 21:08:45.749 4: DbRep Rep.fhemtest1 - SQL execute: SELECT VALUE,TIMESTAMP FROM history where ( DEVICE = 'MySTP_5000' ) AND ( READING = 'total_pac' ) AND TIMESTAMP >= '2022-07-30 00:00:00' AND TIMESTAMP <= '2022-07-30 23:59:59' ORDER BY TIMESTAMP
Ergebnis ist 1.1790 um 2022-07-30_15-29-27:

Code Auswählen Erweitern
READINGS: 2022-08-03 21:08:46 2022-07-30_15-29-27__MySTP_5000__total_pac__MAX__no_aggregation 1.1790 2022-08-03 21:08:46 background_processing_time 1.1393 2022-08-03 21:08:46 sql_processing_time 1.1318 2022-08-03 21:08:46 state done
Jetzt werden außer dem Maxwert alle anderen gelöscht mit maxValue deleteOther

Code Auswählen Erweitern
2022.08.03 21:12:36.700 4: DbRep Rep.fhemtest1 - -------- New selection --------- 2022.08.03 21:12:36.701 4: DbRep Rep.fhemtest1 - Command: maxValue deleteOther 2022.08.03 21:12:36.701 4: DbRep Rep.fhemtest1 - FullDay option: 0 2022.08.03 21:12:36.702 4: DbRep Rep.fhemtest1 - Timestamp begin human readable: 2022-07-30 00:00:00 2022.08.03 21:12:36.702 4: DbRep Rep.fhemtest1 - Timestamp end human readable: 2022-07-30 23:59:59 2022.08.03 21:12:36.703 4: DbRep Rep.fhemtest1 - Aggregation: no 2022.08.03 21:12:36.722 4: DbRep Rep.fhemtest1 - Database connect - user: fhemtest1, UTF-8 option set: yes 2022.08.03 21:12:36.726 4: DbRep Rep.fhemtest1 - SQL execute: SELECT VALUE,TIMESTAMP FROM history where ( DEVICE = 'MySTP_5000' ) AND ( READING = 'total_pac' ) AND TIMESTAMP >= '2022-07-30 00:00:00' AND TIMESTAMP <= '2022-07-30 23:59:59' ORDER BY TIMESTAMP; 2022.08.03 21:12:37.505 4: DbRep Rep.fhemtest1 - Database connect - user: fhemtest1, UTF-8 option set: yes 2022.08.03 21:12:37.507 4: DbRep Rep.fhemtest1 - begin transaction 2022.08.03 21:12:37.507 4: DbRep Rep.fhemtest1 - SQL execute: delete FROM history where ( DEVICE = 'MySTP_5000' ) AND ( READING = 'total_pac' ) AND TIMESTAMP >= '2022-07-30 00:00:00' AND TIMESTAMP <= '2022-07-30 23:59:59' AND (TIMESTAMP,VALUE) != ("2022-07-30 15:29:27","1.179"); 2022.08.03 21:12:37.930 4: DbRep Rep.fhemtest1 - transaction committed 2022.08.03 21:12:37.931 3: DbRep Rep.fhemtest1 - number of lines deleted in "LogDB1": 762
Es wurden also 762 gelöscht, vorganden waren (siehe oben) 763.

Zum check nochmal ein countEntries nach dem Löschen:

Code Auswählen Erweitern
READINGS: 2022-08-03 21:33:35 2022-07-30__COUNT_history__no_aggregation 1 2022-08-03 21:33:35 background_processing_time 1.8349 2022-08-03 21:33:35 sql_processing_time 1.8309 2022-08-03 21:33:35 state done
1 Datensatz blieb übrig. Um noch zu vergleichen welcher geblieben ist mache ich ein fetchrows:

Code Auswählen Erweitern
READINGS: 2022-08-03 21:34:56 2022-07-30_15-29-27__1__MySTP_5000__total_pac 1.179 2022-08-03 21:34:56 background_processing_time 1.6397 2022-08-03 21:34:56 number_fetched_rows 1 2022-08-03 21:34:56 sql_processing_time 1.6355 2022-08-03 21:34:56 state done
Wie erwartet verblieb der Datensatz 2022-07-30_15-29-27 mit 1.179 in der DB.

Die Abweichung ist bei mir die Device- und Reading-Definition:

Im Device möchte ich mit einem DBRep alle gleichartigen Devices behandeln. Daher habe ich dort "strom.*" gesetzt, um alle ElectricityCalculator-Instanzen zu erwischen.
Beim Reading habe ich "%_EnergyCostDay", um bei den unterschiedlichen Devices die unterschiedlichen Readings, die alle so enden, zu erwischen.
Beim Testen gestern lief das erfolgreich und es blieb mit

Code Auswählen

set DbRepDevice maxValue deleteOthergenau der Maximum-Eintrag übrig.

Nun habe ich über Nacht genau den Befehl mit einem DOIF ausgeführt und es sind alle Werte von gestern weg.

Code Auswählen

define dbrep.energieverbrauchszaehler.energycostday DbRep dblog
attr dbrep.energieverbrauchszaehler.energycostday aggregation no
attr dbrep.energieverbrauchszaehler.energycostday allowDeletion 1
attr dbrep.energieverbrauchszaehler.energycostday device strom.*
attr dbrep.energieverbrauchszaehler.energycostday reading %_EnergyCostDay
attr dbrep.energieverbrauchszaehler.energycostday room System
attr dbrep.energieverbrauchszaehler.energycostday timestamp_begin previous_day_begin
attr dbrep.energieverbrauchszaehler.energycostday timestamp_end previous_day_end
#  DATABASE  fhem
#  DEF        dblog
#  FUUID      64982e6f-f33f-ae1f-157d-7dd49ca6a8da12d5
#  FVERSION  93_DbRep.pm:v8.52.7-s27577/2023-05-16
#  LASTCMD    maxValue deleteOther
#  MODEL      Client
#  NAME      dbrep.energieverbrauchszaehler.energycostday
#  NOTIFYDEV  global,dbrep.energieverbrauchszaehler.energycostday
#  NR        3934
#  NTFY_ORDER 50-dbrep.energieverbrauchszaehler.energycostday
#  ROLE      Client
#  STATE      done
#  TYPE      DbRep
#  UTF8      1
#  eventCount 6
#  HELPER:
#    DBLOGDEVICE dblog
#    GRANTS    USAGE,ALL PRIVILEGES
#    IDRETRIES  2
#    MINTS      2022-04-30 07:42:16
#    PACKAGE    main
#    VERSION    8.52.7
#    CV:
#      aggregation no
#      aggsec    1
#      destr      2023-06-25
#      dsstr      2023-06-25
#      epoch_seconds_end 1687730399
#      mestr      06
#      msstr      06
#      testr      23:59:59
#      tsstr      00:00:00
#      wdadd      86400
#      yestr      2023
#      ysstr      2023
#    DBREPCOL:
#      COLSET    1
#      DEVICE    64
#      EVENT      0
#      READING    64
#      TYPE      64
#      UNIT      32
#      VALUE      128
#  Helper:
#    DBLOG:
#      2023-06-25_10-37-03__strom./__/_EnergyCostDay__MAX__no_aggregation:
#        dblog:
#          TIME      1687732207.23272
#          VALUE      1982.9460
#      connectionEncoding:
#        dblog:
#          TIME      1687732202.91498
#          VALUE      utf8mb4
#      dbEncoding:
#        dblog:
#          TIME      1687732202.91498
#          VALUE      utf8mb4
#      db_lines_processed:
#        dblog:
#          TIME      1687732207.23272
#          VALUE      954
#      indexState:
#        dblog:
#          TIME      1687732202.91498
#          VALUE      Index Report_Idx exists
#      state:
#        dblog:
#          TIME      1687732207.36492
#          VALUE      done
#      timestamp_oldest_dataset:
#        dblog:
#          TIME      1687732202.91498
#          VALUE      2022-04-30 07:42:16
#      userRights:
#        dblog:
#          TIME      1687732202.91498
#          VALUE      USAGE,ALL PRIVILEGES
#  OLDREADINGS:
#  READINGS:
#    2023-06-26 00:30:07  2023-06-25_10-37-03__strom./__/_EnergyCostDay__MAX__no_aggregation 1982.9460
#    2023-06-26 00:30:07  db_lines_processed 954
#    2023-06-26 00:30:07  state          done
#  powerMap:
#  readingsDesc:
#    pM_consumption:
#      rtype      w
#    pM_energy:
#      rtype      whr
#
setstate dbrep.energieverbrauchszaehler.energycostday done
setstate dbrep.energieverbrauchszaehler.energycostday 2023-06-26 05:56:57 .associatedWith strom strom.netzbezug strom.netzbezug.ohnepv strom.netzeinspeisung strom.produktion strom.verbrauch strom.waermepumpe.bezug strom.waermepumpe.produktion
setstate dbrep.energieverbrauchszaehler.energycostday 2023-06-26 00:30:07 2023-06-25_10-37-03__strom./__/_EnergyCostDay__MAX__no_aggregation 1982.9460
setstate dbrep.energieverbrauchszaehler.energycostday 2023-06-26 00:30:07 db_lines_processed 954
setstate dbrep.energieverbrauchszaehler.energycostday 2023-06-26 00:30:07 state done

Im DOIF steht nur

Code Auswählen

set dbrep.energieverbrauchszaehler.energycostday maxValue deleteOther

Wo liegt mein Fehler?

Danke und Gruß
Christian

cbl · 27 Juni 2023, 20:01:07

Zitat von: cbl am 26 Juni 2023, 10:16:12Ich hänge mich an dieses alte Thema, da ich exakt das gleiche Problem habe. Ich bin dem Beispiel von DS_Starter gefolgt (DANKE!) und bei mir werden alle Einträge gelöscht.

Zitat von: DS_Starter am 03 August 2022, 21:39:18Hier nochmal ein schrittweises Beispiel.
Dieses DbRep wird für die nachfolgenden Aktionen verwendet:

Code Auswählen Erweitern
defmod Rep.fhemtest1 DbRep LogDB1 attr Rep.fhemtest1 aggregation no attr Rep.fhemtest1 allowDeletion 1 attr Rep.fhemtest1 device MySTP_5000 attr Rep.fhemtest1 event-on-update-reading state attr Rep.fhemtest1 reading total_pac attr Rep.fhemtest1 room DbLog attr Rep.fhemtest1 showproctime 1 attr Rep.fhemtest1 timestamp_begin 2022-07-30 00:00:00 attr Rep.fhemtest1 timestamp_end 2022-07-30 23:59:59 attr Rep.fhemtest1 verbose 4
Es wird Device / Reading MySTP_5000 / total_pac verwendet, das ist die gemessene Leistung des Wechselrichters.

Zunächst ein countEntries um die aktuell vorhandenen Datensätze zu zählen:

Code Auswählen Erweitern
2022.08.03 21:02:58.866 4: DbRep Rep.fhemtest1 - -------- New selection --------- 2022.08.03 21:02:58.867 4: DbRep Rep.fhemtest1 - Command: countEntries history 2022.08.03 21:02:58.867 4: DbRep Rep.fhemtest1 - FullDay option: 0 2022.08.03 21:02:58.868 4: DbRep Rep.fhemtest1 - Timestamp begin human readable: 2022-07-30 00:00:00 2022.08.03 21:02:58.868 4: DbRep Rep.fhemtest1 - Timestamp end human readable: 2022-07-30 23:59:59 2022.08.03 21:02:58.869 4: DbRep Rep.fhemtest1 - Aggregation: no 2022.08.03 21:02:58.890 4: DbRep Rep.fhemtest1 - Database connect - user: fhemtest1, UTF-8 option set: yes 2022.08.03 21:02:58.895 4: DbRep Rep.fhemtest1 - SQL execute: SELECT COUNT(*) FROM history where ( DEVICE = 'MySTP_5000' ) AND ( READING = 'total_pac' ) AND TIMESTAMP >= '2022-07-30 00:00:00' AND TIMESTAMP <= '2022-07-30 23:59:59' ;
Ergebnis sind 763:

Code Auswählen Erweitern
READINGS: 2022-08-03 21:02:59 2022-07-30__COUNT_history__no_aggregation 763 2022-08-03 21:02:59 background_processing_time 0.9327 2022-08-03 21:02:59 sql_processing_time 0.9277 2022-08-03 21:02:59 state done
Jetzt zeige ich den Max Wert an mit maxValue display:

Code Auswählen Erweitern
2022.08.03 21:08:45.719 4: DbRep Rep.fhemtest1 - -------- New selection --------- 2022.08.03 21:08:45.720 4: DbRep Rep.fhemtest1 - Command: maxValue display 2022.08.03 21:08:45.720 4: DbRep Rep.fhemtest1 - FullDay option: 0 2022.08.03 21:08:45.721 4: DbRep Rep.fhemtest1 - Timestamp begin human readable: 2022-07-30 00:00:00 2022.08.03 21:08:45.721 4: DbRep Rep.fhemtest1 - Timestamp end human readable: 2022-07-30 23:59:59 2022.08.03 21:08:45.722 4: DbRep Rep.fhemtest1 - Aggregation: no 2022.08.03 21:08:45.746 4: DbRep Rep.fhemtest1 - Database connect - user: fhemtest1, UTF-8 option set: yes 2022.08.03 21:08:45.749 4: DbRep Rep.fhemtest1 - SQL execute: SELECT VALUE,TIMESTAMP FROM history where ( DEVICE = 'MySTP_5000' ) AND ( READING = 'total_pac' ) AND TIMESTAMP >= '2022-07-30 00:00:00' AND TIMESTAMP <= '2022-07-30 23:59:59' ORDER BY TIMESTAMP
Ergebnis ist 1.1790 um 2022-07-30_15-29-27:

Code Auswählen Erweitern
READINGS: 2022-08-03 21:08:46 2022-07-30_15-29-27__MySTP_5000__total_pac__MAX__no_aggregation 1.1790 2022-08-03 21:08:46 background_processing_time 1.1393 2022-08-03 21:08:46 sql_processing_time 1.1318 2022-08-03 21:08:46 state done
Jetzt werden außer dem Maxwert alle anderen gelöscht mit maxValue deleteOther

Code Auswählen Erweitern
2022.08.03 21:12:36.700 4: DbRep Rep.fhemtest1 - -------- New selection --------- 2022.08.03 21:12:36.701 4: DbRep Rep.fhemtest1 - Command: maxValue deleteOther 2022.08.03 21:12:36.701 4: DbRep Rep.fhemtest1 - FullDay option: 0 2022.08.03 21:12:36.702 4: DbRep Rep.fhemtest1 - Timestamp begin human readable: 2022-07-30 00:00:00 2022.08.03 21:12:36.702 4: DbRep Rep.fhemtest1 - Timestamp end human readable: 2022-07-30 23:59:59 2022.08.03 21:12:36.703 4: DbRep Rep.fhemtest1 - Aggregation: no 2022.08.03 21:12:36.722 4: DbRep Rep.fhemtest1 - Database connect - user: fhemtest1, UTF-8 option set: yes 2022.08.03 21:12:36.726 4: DbRep Rep.fhemtest1 - SQL execute: SELECT VALUE,TIMESTAMP FROM history where ( DEVICE = 'MySTP_5000' ) AND ( READING = 'total_pac' ) AND TIMESTAMP >= '2022-07-30 00:00:00' AND TIMESTAMP <= '2022-07-30 23:59:59' ORDER BY TIMESTAMP; 2022.08.03 21:12:37.505 4: DbRep Rep.fhemtest1 - Database connect - user: fhemtest1, UTF-8 option set: yes 2022.08.03 21:12:37.507 4: DbRep Rep.fhemtest1 - begin transaction 2022.08.03 21:12:37.507 4: DbRep Rep.fhemtest1 - SQL execute: delete FROM history where ( DEVICE = 'MySTP_5000' ) AND ( READING = 'total_pac' ) AND TIMESTAMP >= '2022-07-30 00:00:00' AND TIMESTAMP <= '2022-07-30 23:59:59' AND (TIMESTAMP,VALUE) != ("2022-07-30 15:29:27","1.179"); 2022.08.03 21:12:37.930 4: DbRep Rep.fhemtest1 - transaction committed 2022.08.03 21:12:37.931 3: DbRep Rep.fhemtest1 - number of lines deleted in "LogDB1": 762
Es wurden also 762 gelöscht, vorganden waren (siehe oben) 763.

Zum check nochmal ein countEntries nach dem Löschen:

Code Auswählen Erweitern
READINGS: 2022-08-03 21:33:35 2022-07-30__COUNT_history__no_aggregation 1 2022-08-03 21:33:35 background_processing_time 1.8349 2022-08-03 21:33:35 sql_processing_time 1.8309 2022-08-03 21:33:35 state done
1 Datensatz blieb übrig. Um noch zu vergleichen welcher geblieben ist mache ich ein fetchrows:

Code Auswählen Erweitern
READINGS: 2022-08-03 21:34:56 2022-07-30_15-29-27__1__MySTP_5000__total_pac 1.179 2022-08-03 21:34:56 background_processing_time 1.6397 2022-08-03 21:34:56 number_fetched_rows 1 2022-08-03 21:34:56 sql_processing_time 1.6355 2022-08-03 21:34:56 state done
Wie erwartet verblieb der Datensatz 2022-07-30_15-29-27 mit 1.179 in der DB.

Die Abweichung ist bei mir die Device- und Reading-Definition:

Im Device möchte ich mit einem DBRep alle gleichartigen Devices behandeln. Daher habe ich dort "strom.*" gesetzt, um alle ElectricityCalculator-Instanzen zu erwischen.
Beim Reading habe ich "%_EnergyCostDay", um bei den unterschiedlichen Devices die unterschiedlichen Readings, die alle so enden, zu erwischen.
Beim Testen gestern lief das erfolgreich und es blieb mit
Code Auswählen Erweitern
set DbRepDevice maxValue deleteOthergenau der Maximum-Eintrag übrig.

Nun habe ich über Nacht genau den Befehl mit einem DOIF ausgeführt und es sind alle Werte von gestern weg.

Code Auswählen Erweitern
define dbrep.energieverbrauchszaehler.energycostday DbRep dblog attr dbrep.energieverbrauchszaehler.energycostday aggregation no attr dbrep.energieverbrauchszaehler.energycostday allowDeletion 1 attr dbrep.energieverbrauchszaehler.energycostday device strom.* attr dbrep.energieverbrauchszaehler.energycostday reading %_EnergyCostDay attr dbrep.energieverbrauchszaehler.energycostday room System attr dbrep.energieverbrauchszaehler.energycostday timestamp_begin previous_day_begin attr dbrep.energieverbrauchszaehler.energycostday timestamp_end previous_day_end # DATABASE fhem # DEF dblog # FUUID 64982e6f-f33f-ae1f-157d-7dd49ca6a8da12d5 # FVERSION 93_DbRep.pm:v8.52.7-s27577/2023-05-16 # LASTCMD maxValue deleteOther # MODEL Client # NAME dbrep.energieverbrauchszaehler.energycostday # NOTIFYDEV global,dbrep.energieverbrauchszaehler.energycostday # NR 3934 # NTFY_ORDER 50-dbrep.energieverbrauchszaehler.energycostday # ROLE Client # STATE done # TYPE DbRep # UTF8 1 # eventCount 6 # HELPER: # DBLOGDEVICE dblog # GRANTS USAGE,ALL PRIVILEGES # IDRETRIES 2 # MINTS 2022-04-30 07:42:16 # PACKAGE main # VERSION 8.52.7 # CV: # aggregation no # aggsec 1 # destr 2023-06-25 # dsstr 2023-06-25 # epoch_seconds_end 1687730399 # mestr 06 # msstr 06 # testr 23:59:59 # tsstr 00:00:00 # wdadd 86400 # yestr 2023 # ysstr 2023 # DBREPCOL: # COLSET 1 # DEVICE 64 # EVENT 0 # READING 64 # TYPE 64 # UNIT 32 # VALUE 128 # Helper: # DBLOG: # 2023-06-25_10-37-03__strom./__/_EnergyCostDay__MAX__no_aggregation: # dblog: # TIME 1687732207.23272 # VALUE 1982.9460 # connectionEncoding: # dblog: # TIME 1687732202.91498 # VALUE utf8mb4 # dbEncoding: # dblog: # TIME 1687732202.91498 # VALUE utf8mb4 # db_lines_processed: # dblog: # TIME 1687732207.23272 # VALUE 954 # indexState: # dblog: # TIME 1687732202.91498 # VALUE Index Report_Idx exists # state: # dblog: # TIME 1687732207.36492 # VALUE done # timestamp_oldest_dataset: # dblog: # TIME 1687732202.91498 # VALUE 2022-04-30 07:42:16 # userRights: # dblog: # TIME 1687732202.91498 # VALUE USAGE,ALL PRIVILEGES # OLDREADINGS: # READINGS: # 2023-06-26 00:30:07 2023-06-25_10-37-03__strom./__/_EnergyCostDay__MAX__no_aggregation 1982.9460 # 2023-06-26 00:30:07 db_lines_processed 954 # 2023-06-26 00:30:07 state done # powerMap: # readingsDesc: # pM_consumption: # rtype w # pM_energy: # rtype whr # setstate dbrep.energieverbrauchszaehler.energycostday done setstate dbrep.energieverbrauchszaehler.energycostday 2023-06-26 05:56:57 .associatedWith strom strom.netzbezug strom.netzbezug.ohnepv strom.netzeinspeisung strom.produktion strom.verbrauch strom.waermepumpe.bezug strom.waermepumpe.produktion setstate dbrep.energieverbrauchszaehler.energycostday 2023-06-26 00:30:07 2023-06-25_10-37-03__strom./__/_EnergyCostDay__MAX__no_aggregation 1982.9460 setstate dbrep.energieverbrauchszaehler.energycostday 2023-06-26 00:30:07 db_lines_processed 954 setstate dbrep.energieverbrauchszaehler.energycostday 2023-06-26 00:30:07 state done
Im DOIF steht nur
Code Auswählen Erweitern
set dbrep.energieverbrauchszaehler.energycostday maxValue deleteOther

Problem selbst gelöst. Die Antwort stand irgendwo weiter oben im Thread:

Bei mehreren Devices wird der MaxValue über _alle_ Devices ermittelt und nur der bleibt übrig. Ich muss also für jedes Device ein eigenes DbRep-Device anlegen.

loetmeister · 19 Juli 2023, 23:24:17

Zitat von: DS_Starter am 17 August 2022, 20:04:06
ZitatVermutungen... muss INCLUDE großgeschrieben werden?
Das ist korrekt -> siehe Commandref

Hallo,

bin auch grade darüber gestolpert.... und leider "include=" statt INCLUDE= benutzt.
Hier:
https://fhem.de/commandref.html#DbRepset
https://fhem.de/commandref_DE.html#DbRepset
ist leider kein Hinweis das es in Großbuchstaben sein muss... eventuell könnte das überarbeitet werden?

Gruß,
Thomas

DS_Starter · 20 Juli 2023, 00:08:42

Hallo Thomas,

Zitatist leider kein Hinweis das es in Großbuchstaben sein muss... eventuell könnte das überarbeitet werden?

In der Commandref ist die Syntax doch genau angegeben:

reduceLog [<no>[:<nn>]] [mode] [EXCLUDE=device1:reading1,device2:reading2,...] [INCLUDE=device:reading]

Wie man sieht, ist die Großschreibung von EXCLUDE / INCLUDE eindeutig vorgegeben.
Ich könnte höchstens noch schreiben dass man bitte die Syntax einhalten soll, jedoch sollte das eigentlich selbstverständlich sein.

Grüße,
Heiko

loetmeister · 20 Juli 2023, 00:33:21

Hallo Heiko,

Danke, ja so ist es verständlich. :⁠-⁠)
Vermutlich schauen wir uns verschiedene Commandrefs an...? Auf https://fhem.de/commandref.html#DbRepset steht:

Zitatset <name> reduceLog <no>[:<nn>] [average[=day]] [exclude=device1:reading1,device2:reading2,...]

Reduces historical records older than <no> days and (optionally) newer than <nn> days to one record (the first) per hour per device & reading.
Inside device/reading SQL wildcards "%" and "_" can be used.

The optional specification of 'average' or 'average=day' not only cleans the database, but also reduces all numerical values of an hour or a day are reduced to a single average value.

Optionally, the last parameter "exclude=device1:reading1,device2:reading2,...." can be specified to exclude device/reading combinations from reduceLog.
Instead of "exclude", "include=device:reading" can be specified as the last parameter in order to limit the SELECT query executed on the database. This reduces the RAM load and increases performance. The option "include" can only be specified with a device:reading combination.

Examples:
set <name> reduceLog 270 average include=Luftdaten_remote:%
set <name> reduceLog 100:200 average exclude=SMA_Energymeter:Bezug_Wirkleistung

Gruß,
Thomas

DS_Starter · 20 Juli 2023, 08:08:33

Moin Thomas,

den Link muß ich korrigieren, der funktioniert nicht.

Jedoch ist die von dir gezeigte ComRef die vom DbLog reducelog und nicht die vom DbRep.

Benutzt du reducelog von DbLog oder DbRep ?

loetmeister · 20 Juli 2023, 10:44:25

Ah, verflixt. Das ist Erklärung...
Ja, ich nutze DbRep und bin vom Wiki https://wiki.fhem.de/wiki/DbRep_-_Reporting_und_Management_von_DbLog-Datenbankinhalten für die "Set" Befehle zur Commandref gekommen... Da hab ich dann aber den falschen Abschnitt erwischt.

Hatte ich nicht gesehen das DbLog und DbRep den selben Befehl haben.

Gruß,
Thomas