angeblich keine Daten geloggt

[DS_Starter]

Wie genau rufst du die Kommandos auf?
Wenn du dein Log von reducelog anschaust, endet es mit:

Code Auswählen Erweitern

...
2024.01.08 21:57:03 4: DbRep logdb.Serv - Timestamp begin human readable: 2023-07-12 00:00:00
2024.01.08 21:57:03 5: DbRep logdb.Serv - Timestamp end epocheseconds: 1704149999
2024.01.08 21:57:03 4: DbRep logdb.Serv - Timestamp end human readable: 2024-01-01 23:59:59
2024.01.08 21:57:03 3: DB ENERGY_To gelöscht
2024.01.08 21:57:04 3: CUL_HM set LD_blau_2.Nacht statusRequest noArg

Normalerweise kommen dann noch die Abarbeitungen wie bei meinem Test:

Code Auswählen Erweitern

2024.01.08 22:22:28.333 4: DbRep Rep.Test - Database connect - user: no, UTF-8 option set: yes
2024.01.08 22:22:28.339 3: DbRep Rep.Test - reduce data older than: 2024-01-01 23:59:59, newer than: 2023-07-12 00:00:00
2024.01.08 22:22:28.340 3: DbRep Rep.Test - reduceLog requested with options:
max=day
INCLUDE -> %:ENERGY_Power
2024.01.08 22:22:28.340 4: DbRep Rep.Test - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND (VALUE=?)
2024.01.08 22:22:28.342 4: DbRep Rep.Test - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND VALUE IS NULL
2024.01.08 22:22:28.342 4: DbRep Rep.Test - SQL prepare: UPDATE history SET TIMESTAMP=?, EVENT=?, VALUE=? WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND (VALUE=?)
2024.01.08 22:22:28.343 4: DbRep Rep.Test - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?)
2024.01.08 22:22:28.344 4: DbRep Rep.Test - SQL prepare: UPDATE history SET TIMESTAMP=?, EVENT=?, VALUE=? WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?)
2024.01.08 22:22:28.344 4: DbRep Rep.Test - SQL execute: SELECT TIMESTAMP,DEVICE,'',READING,VALUE FROM history WHERE DEVICE like '%' AND READING like 'ENERGY_Power' AND TIMESTAMP <= '2024-01-01 23:59:59' AND TIMESTAMP >= '2023-07-12 00:00:00' ORDER BY TIMESTAMP ASC
2024.01.08 22:22:28.671 3: DbRep Rep.Test - reduceLog finished. Rows processed: 0, deleted: 0, updated: 0

Ich vermute das ist das eigentliche Problem, die Abarbeitungssequenz.

[rabehd]

Ich bin überzeugt gestern einen FHEM neu gestartet zu haben. Die angezeigte Versionsnummer sollte das jew beweisen.
Ich habe auch überlegt, was ist auf der Instanz anders. Da fällt mir nur ein, dass in der alten Instanz erst die DB gefüllt wurde und ich später die tägliche Reduzierung eingebaut habe.
Bei der neuen Instanz habe ich die DB angelegt und sofort das DOIF mit den täglichen Reduzierbefehlen eingebaut/kopiert.
Auf der neuen Instanz wird definitiv ein Zeitraum reduziert vor dem ersten Datensatz.

Jetzt wollte ich das Ganze nochmal testen. Heute hat die Zählung aber funktioniert. Es wurden Werte angezeigt.
Der Zeitraum der nächtlichen Reduzierung liegt auch nicht mehr vollständig vor dem ersten Datensatz.

Plan war jetzt den Testablauf nochmal nachzustellen. Man sollte aber nicht gleichzeitig auf 2 PC's arbeiten.  Ich habe die Datenbank unbeabsichtigt geleert. Damit kann ich es nicht mehr nachstellen. Die Zählabfragen funktioneren jetzt.
Das ist, weil unklar, ein blöder Zustand.
Die Logs von heute wären noch da.

[DS_Starter]

Moin,

naja da hilft erstmal tief Luft holen und die Gedanken sortieren. 

Also unabhängig ob Daten in der DB sind etc. muß ja der Ablauf der Logausgaben die einzelnen Schritte wiedergeben. Bei mir gibt es z.B. keine Daten von ENERGY_Power.
Wenn ich ausführe:

Code Auswählen Erweitern

reducelog 1:1 max=day INCLUDE=%:ENERGY_Power
kommt mit verbose 4 im Log:

Code Auswählen Erweitern

2024.01.09 08:21:42.035 3: DbRep Rep.Test - ################################################################
2024.01.09 08:21:42.037 3: DbRep Rep.Test - ###                    new reduceLog run                     ###
2024.01.09 08:21:42.038 3: DbRep Rep.Test - ################################################################
2024.01.09 08:21:42.055 4: DbRep Rep.Test - -------- New selection ---------
2024.01.09 08:21:42.056 4: DbRep Rep.Test - Command: reduceLog 1:1
2024.01.09 08:21:42.058 4: DbRep Rep.Test - timeDiffToNow - year: , day: 1, hour: , min: , sec:
2024.01.09 08:21:42.059 4: DbRep Rep.Test - Year 2024 is leap year
2024.01.09 08:21:42.059 4: DbRep Rep.Test - startMonth: 0 endMonth: 0 lastleapyear: 2024 baseYear: 2024 diffdaylight:0 isdaylight:0
2024.01.09 08:21:42.060 4: DbRep Rep.Test - timeOlderThan - year: 0, day: 1, hour: 0, min: 0, sec: 0
2024.01.09 08:21:42.061 4: DbRep Rep.Test - Year 2024 is leap year
2024.01.09 08:21:42.062 4: DbRep Rep.Test - startMonth: 11 endMonth: 0 lastleapyear: 2024 baseYear: 2024 diffdaylight:0 isdaylight:0
2024.01.09 08:21:42.063 4: DbRep Rep.Test - FullDay option: 1
2024.01.09 08:21:42.064 4: DbRep Rep.Test - Time difference to current time for calculating Timestamp begin: 86401 sec
2024.01.09 08:21:42.065 4: DbRep Rep.Test - Timestamp begin human readable: 2024-01-08 00:00:00
2024.01.09 08:21:42.066 4: DbRep Rep.Test - Timestamp end human readable: 2024-01-08 23:59:59
2024.01.09 08:21:42.139 4: DbRep Rep.Test - Database connect - user: no, UTF-8 option set: yes
2024.01.09 08:21:42.143 3: DbRep Rep.Test - reduce data older than: 2024-01-08 23:59:59, newer than: 2024-01-08 00:00:00
2024.01.09 08:21:42.144 3: DbRep Rep.Test - reduceLog requested with options:
max=day
INCLUDE -> %:ENERGY_Power
2024.01.09 08:21:42.145 4: DbRep Rep.Test - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND (VALUE=?)
2024.01.09 08:21:42.146 4: DbRep Rep.Test - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND VALUE IS NULL
2024.01.09 08:21:42.147 4: DbRep Rep.Test - SQL prepare: UPDATE history SET TIMESTAMP=?, EVENT=?, VALUE=? WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?) AND (VALUE=?)
2024.01.09 08:21:42.148 4: DbRep Rep.Test - SQL prepare: DELETE FROM history WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?)
2024.01.09 08:21:42.149 4: DbRep Rep.Test - SQL prepare: UPDATE history SET TIMESTAMP=?, EVENT=?, VALUE=? WHERE (DEVICE=?) AND (READING=?) AND (TIMESTAMP=?)
2024.01.09 08:21:42.149 4: DbRep Rep.Test - SQL execute: SELECT TIMESTAMP,DEVICE,'',READING,VALUE FROM history WHERE DEVICE like '%' AND READING like 'ENERGY_Power' AND TIMESTAMP <= '2024-01-08 23:59:59' AND TIMESTAMP >= '2024-01-08 00:00:00' ORDER BY TIMESTAMP ASC
2024.01.09 08:21:42.462 3: DbRep Rep.Test - reduceLog finished. Rows processed: 0, deleted: 0, updated: 0

Man sieht alle Schritte, am Ende das Ergebnis mit 0 verarbeiteten Datensätzen.
Diese Abfolge muß bei dir auch erscheinen. Wenn nicht, muß ich nochmal in mich gehen.

Wenn ich danach countEntries ausführe:

Code Auswählen Erweitern

2024.01.09 08:22:16.000 4: DbRep Rep.Test - -------- New selection ---------
2024.01.09 08:22:16.000 4: DbRep Rep.Test - Command: countEntries history
2024.01.09 08:22:16.001 4: DbRep Rep.Test - Timestamp begin human readable: not set
2024.01.09 08:22:16.001 4: DbRep Rep.Test - Timestamp end human readable: not set
2024.01.09 08:22:16.002 4: DbRep Rep.Test - Aggregation: no
2024.01.09 08:22:16.064 4: DbRep Rep.Test - Database connect - user: no, UTF-8 option set: yes
2024.01.09 08:22:16.070 4: DbRep Rep.Test - SQL execute: SELECT COUNT(*) FROM history where ( DEVICE = 'SMA_Energymeter' ) AND 1 ;

sind die Timestamps nicht gesetzt (weil keine Attr gesetzt) und der Select geht über SMA_Energymeter weil das device Attr gesetzt ist. Pass also. Wichtig ist, dass die Timestamps nicht (mehr) gesetzt sind.

Diese Abfolge muß insgesamt bei dir auch so funktionieren.

[rabehd]

Ich habe heute abend wieder 8.52 reinkopiert und neu gestartet.

Versuch 1:
1. Datesätze reduzieren (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:ENERGY_To%) Aufruf über set im DOIF "No data found in specified time range"
2. Datensätze zählen per DbRep -> keine Datensätze gefunden

8.53 reinkopiert und neu gestartet
Versuch 2:
1. Datesätze reduzieren (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:ENERGY_To%) Aufruf über set im DOIF "No data found in specified time range"
2. Datensätze zählen per DbRep -> keine Datensätze gefunden
3. TablecurrentFillup ausgeführt (mehr als 0 Datensätze eingefügt)
4. Datensätze zählen per DbRep -> es sind Datensätze vorhanden

Versuch 2 läßt sich so wiederholen.

Versuch 3:
1. Datesätze reduzieren (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:ENERGY_To%) Aufruf über set im DOIF "No data found in specified time range"
2. Datensätze zählen per DbRep -> keine Datensätze gefunden
4. Datensätze zählen per DbRep -> es sind Datensätze vorhanden

Versuch 4:
1. anderer Reduziervariante, aber "reducureLog"
gleiches Ergebnis wie Versuch 3

Versuch 4:
1. Löschen in der DB mit (set logdb.Serv sqlCmd delete from history where `READING` like "SunA%" and TIMESTAMP <= NOW()-INTERVAL 14 DAY ) "done"
2. Datensätze zählen per DbRep -> es sind Datensätze vorhanden

Ich habe den Verdacht, aber keine Erklärung, das es mit "No data found in specified time range" zusammenhängt.

[DS_Starter]

Die Ausgabe "No data found in specified time range"  kommt wenn die angegebenen Zeitgrenzen kleiner als minTimestamp sind.

Ich hatte dir ja ein Beispiel mit "reducelog 1:1 max=day INCLUDE=%:ENERGY_Power" gegeben in der Hoffnung du würdest es 1:1 mit verbose 4 mal nachstellen um einen direkten Vergleich zu haben.

[rabehd]

Ich wollte erstmal überhaupt wissen, ob ich das Probelm nachstellen kann.

Jetzt mit Deinen  "reducelog 1:1 max=day INCLUDE=%:ENERGY_Power" geändert zu  "reduceLog 1:1 max=day INCLUDE=%:ENERGY_Power" 

Code Auswählen Erweitern

2024.01.09 20:42:01 3: DbRep logdb.Serv - ################################################################
2024.01.09 20:42:01 3: DbRep logdb.Serv - ###                    new reduceLog run                     ###
2024.01.09 20:42:01 3: DbRep logdb.Serv - ################################################################
2024.01.09 20:42:01 4: DbRep logdb.Serv - -------- New selection ---------
2024.01.09 20:42:01 4: DbRep logdb.Serv - Command: reduceLog 1:1
2024.01.09 20:42:01 4: DbRep logdb.Serv - timeDiffToNow - year: , day: 1, hour: , min: , sec:
2024.01.09 20:42:01 4: DbRep logdb.Serv - Year 2024 is leap year
2024.01.09 20:42:01 4: DbRep logdb.Serv - startMonth: 0 endMonth: 0 lastleapyear: 2024 baseYear: 2024 diffdaylight:0 isdaylight:0
2024.01.09 20:42:01 4: DbRep logdb.Serv - timeOlderThan - year: 0, day: 1, hour: 0, min: 0, sec: 0
2024.01.09 20:42:01 4: DbRep logdb.Serv - Year 2024 is leap year
2024.01.09 20:42:01 4: DbRep logdb.Serv - startMonth: 0 endMonth: 0 lastleapyear: 2024 baseYear: 2024 diffdaylight:0 isdaylight:0
2024.01.09 20:42:01 4: DbRep logdb.Serv - FullDay option: 1
2024.01.09 20:42:01 4: DbRep logdb.Serv - Time difference to current time for calculating Timestamp begin: 86401 sec
2024.01.09 20:42:01 4: DbRep logdb.Serv - Timestamp begin human readable: 2024-01-08 00:00:00
2024.01.09 20:42:01 4: DbRep logdb.Serv - Timestamp end human readable: 2024-01-08 23:59:59
2024.01.09 20:42:13 4: DbRep logdb.Serv - -------- New selection ---------
2024.01.09 20:42:13 4: DbRep logdb.Serv - Command: countEntries history
2024.01.09 20:42:13 4: DbRep logdb.Serv - timeDiffToNow - year: , day: 1, hour: , min: , sec:
2024.01.09 20:42:13 4: DbRep logdb.Serv - Year 2024 is leap year
2024.01.09 20:42:13 4: DbRep logdb.Serv - startMonth: 0 endMonth: 0 lastleapyear: 2024 baseYear: 2024 diffdaylight:0 isdaylight:0
2024.01.09 20:42:13 4: DbRep logdb.Serv - timeOlderThan - year: 0, day: 1, hour: 0, min: 0, sec: 0
2024.01.09 20:42:13 4: DbRep logdb.Serv - Year 2024 is leap year
2024.01.09 20:42:13 4: DbRep logdb.Serv - startMonth: 0 endMonth: 0 lastleapyear: 2024 baseYear: 2024 diffdaylight:0 isdaylight:0
2024.01.09 20:42:13 4: DbRep logdb.Serv - FullDay option: 1
2024.01.09 20:42:13 4: DbRep logdb.Serv - Time difference to current time for calculating Timestamp begin: 86401 sec
2024.01.09 20:42:13 4: DbRep logdb.Serv - Timestamp begin human readable: 2024-01-08 00:00:00
2024.01.09 20:42:13 4: DbRep logdb.Serv - Timestamp end human readable: 2024-01-08 23:59:59
2024.01.09 20:42:13 4: DbRep logdb.Serv - Aggregation: no
2024.01.09 20:42:13 4: DbRep logdb.Serv - Database connect - user: fhemuser, UTF-8 option set: yes
2024.01.09 20:42:13 4: DbRep logdb.Serv - SQL execute: SHOW VARIABLES LIKE 'collation_database'
2024.01.09 20:42:13 4: DbRep logdb.Serv - Database Character set is >utf8mb4_bin<
2024.01.09 20:42:13 4: DbRep logdb.Serv - simple do statement: set names "utf8mb4" collate "utf8mb4_bin"
2024.01.09 20:42:13 4: DbRep logdb.Serv - SQL execute: SELECT READING, COUNT(*) FROM history where TIMESTAMP >= '2024-01-08 00:00:00' AND TIMESTAMP <= '2024-01-08 23:59:59' group by READING;

Ein erneutes Zählen (ohne vorherige andere Befehle) liefert das erwartete Ergebnis.

[DS_Starter]

Ja das komische ist, dass dein reduceLog    nicht über die Ausgabe der Timestamp im Log hinauskommt. Da fehlt einiges und es liegt die Vermutung nahe, dass das Löschen der temporären Zeitdefinitionen nicht passiert weil die Prozedur bis dahin nicht kommt.

Wie rufst du reducelog + countEntries genau auf? Manuell oder in einem Script?

[rabehd]

Wie rufst du reducelog + countEntries genau auf? Manuell oder in einem Script?

Code Auswählen Erweitern

([00:38|Mo]) (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:ENERGY_To%)({Log 3, "DB ENERGY_To gelöscht"})
DOELSEIF ([00:38|Di]) (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:ENERGY_Power)
DOELSEIF ([00:38|Mi]) (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:Kosten_gestern)({Log 3, "DB Kosten gestern gelöscht"})
DOELSEIF ([00:38|Do]) (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:Kosten_heute)({Log 3, "DB Kosten heute gelöscht"})
DOELSEIF ([00:38|Fr]) (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:ENERGY_aktuell)
DOELSEIF ([00:38|Sa]) (set logdb.Serv reduceLog 7:180 average=hour INCLUDE=%:temp%)({Log 3, "logs temp gelöscht"})
DOELSEIF ([00:38|So]) (set logdb.Serv reduceLog 7:180 average=day INCLUDE=%:power)({Log 3, "logs power gelöscht"})
DOELSEIF ([00:58|Mo]) (set logdb.Serv reduceLog 7:180 average=day INCLUDE=%:humidity)({Log 3, "logs feuchte gelöscht"})
DOELSEIF ([00:58|Di]) (set logdb.Serv sqlCmd delete from history where `READING` like "SunA%" and TIMESTAMP <= NOW()-INTERVAL 14 DAY )({Log 3, "logs sonne gelöscht"})
DOELSEIF ([00:58|Mi]) (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:rain)
DOELSEIF ([00:38|Do]) (set logdb.Serv reduceLog 7:180 max=day INCLUDE=%:Kosten_gesamt)({Log 3, "DB Kosten gesamt gelöscht"})
DOELSEIF ([00:58|Fr]) (set logdb.Serv sqlCmd delete from history where `READING` like "dewpoint" and TIMESTAMP <= NOW()-INTERVAL 31 DAY )({Log 3, "logs sonne gelöscht"})
DOELSE ()Das hat in der alten Instanz keine Probleme gemacht.
Für die Tests rufe ich es in der FHEM-Oberfläche des DOIF per Set-Befehl und Auswahl des Zweiges auf.
Gestern habe ich das erste mal draufgeschaut. Seit der Anlage am 02.01. das erste Mal. 

[DS_Starter]

Ich sehe jetzt auch nichts problematisches, wobei ich DOIF nicht nutze.
Kannst du bitte NUR "reduceLog 1:1 max=day INCLUDE=%:ENERGY_Power" manuell im Setter des DbRep mit verbose 4 aufrufen und die Logausgabe posten.

[rabehd]

Code Auswählen Erweitern

2024.01.09 21:12:01 3: DbRep logdb.Serv - ################################################################
2024.01.09 21:12:01 3: DbRep logdb.Serv - ###                    new reduceLog run                     ###
2024.01.09 21:12:01 3: DbRep logdb.Serv - ################################################################
2024.01.09 21:12:01 4: DbRep logdb.Serv - -------- New selection ---------
2024.01.09 21:12:01 4: DbRep logdb.Serv - Command: reduceLog 1:1
2024.01.09 21:12:01 4: DbRep logdb.Serv - timeDiffToNow - year: , day: 1, hour: , min: , sec:
2024.01.09 21:12:01 4: DbRep logdb.Serv - Year 2024 is leap year
2024.01.09 21:12:01 4: DbRep logdb.Serv - startMonth: 0 endMonth: 0 lastleapyear: 2024 baseYear: 2024 diffdaylight:0 isdaylight:0
2024.01.09 21:12:01 4: DbRep logdb.Serv - timeOlderThan - year: 0, day: 1, hour: 0, min: 0, sec: 0
2024.01.09 21:12:01 4: DbRep logdb.Serv - Year 2024 is leap year
2024.01.09 21:12:01 4: DbRep logdb.Serv - startMonth: 0 endMonth: 0 lastleapyear: 2024 baseYear: 2024 diffdaylight:0 isdaylight:0
2024.01.09 21:12:01 4: DbRep logdb.Serv - FullDay option: 1
2024.01.09 21:12:01 4: DbRep logdb.Serv - Time difference to current time for calculating Timestamp begin: 86401 sec
2024.01.09 21:12:01 5: DbRep logdb.Serv - Timestamp begin epocheseconds: 1704668400
2024.01.09 21:12:01 4: DbRep logdb.Serv - Timestamp begin human readable: 2024-01-08 00:00:00
2024.01.09 21:12:01 5: DbRep logdb.Serv - Timestamp end epocheseconds: 1704754799
2024.01.09 21:12:01 4: DbRep logdb.Serv - Timestamp end human readable: 2024-01-08 23:59:59

[DS_Starter]

Ok, habe eine Idee wo ich ansetzen kann.
Was steht im Reading state nach dem reduceLog?

[rabehd]

Code Auswählen Erweitern

state No data found in specified time range 2024-01-09 21:12:01und sonst nichts

[DS_Starter]

So jetz nochmal get ... minTimestamp ausführen, den ausgeschriebenen minTimestamp posten und dann nochmal das reducLog ausführen.

[rabehd]

So jetz nochmal get ... minTimestamp ausführen, den ausgeschriebenen minTimestamp posten und dann nochmal das reducLog ausführen.

get ... minTimestamp

Code Auswählen Erweitern

timestamp_oldest_dataset 2024-01-09 06:59:00                    2024-01-09 21:22:48reduceLog 1:1 max=day INCLUDE=%:ENERGY_Power

Code Auswählen Erweitern

state                    No data found in specified time range  2024-01-09 21:23:37

[DS_Starter]

Ach ... das ist jetzt blöd weil nur Daten von Heute und nicht älter drin sind. Dann passt die Ausgabe (den Text ändere ich weil irreführend).
Weiß nicht ob es funktioniert, aber führe mal "reduceLog 1 max=day INCLUDE=%:ENERGY_Power" aus.