logdb daten mehrfach in der db

Begonnen von the ratman, 04 Oktober 2021, 09:13:49

Vorheriges Thema - Nächstes Thema

the ratman

grüß euch,

mir fällt eben auf, dass ich daten mehrfach in die db geschrieben bekomme
bspl.:TIMESTAMP;DEVICE;TYPE;EVENT;READING;VALUE;UNIT
2021-10-04 09:01:34;doif_regenumrechnung;DOIF;regenmenge_aktuell: 9.7;regenmenge_aktuell;9.7;
2021-10-04 09:01:34;doif_regenumrechnung;DOIF;regenmenge_aktuell: 9.7;regenmenge_aktuell;9.7;
2021-10-04 09:01:34;doif_regenumrechnung;DOIF;regenmenge_aktuell: 9.7;regenmenge_aktuell;9.7;
2021-10-04 09:01:34;doif_regenumrechnung;DOIF;regenmenge_aktuell: 9.7;regenmenge_aktuell;9.7;
2021-10-04 09:01:34;doif_regenumrechnung;DOIF;regenmenge_aktuell: 9.7;regenmenge_aktuell;9.7;
dazu kommt in logd in schöner regelmäßigkeit:CacheOverflowLastNum 0 2021-10-04 09:09:20readings:CacheOverflowLastNum 0 2021-10-04 09:14:20
CacheOverflowLastState normal 2021-03-05 09:33:35
CacheUsage 0 2021-10-04 09:06:20
NextSync 2021-10-04 09:06:49 or if CacheUsage 100 reached 2021-10-04 09:06:19
lastRowsDeleted 0 2021-10-04 02:00:00 reduceLogState reduceLogNbl finished. Rows processed: 1098778, deleted: 43886, excluded: 321, time: 42.53sec 2021-10-04 02:45:42
state connected 2021-10-04 09:06:20


eingestellte attribute (seit ich logdb angelegt hab vor jahren):
DbLogType History
asyncMode 1
cacheLimit 100

das cacheLimit auf 1000 zu stellen bringt mal nix.
was rennt da seit ca.  27.9.2021 schief?
→do↑p!dnʇs↓shit←

DS_Starter

Hi ratman,

bezüglich dem Event


CacheOverflowLastNum 0 2021-10-04 09:09:20


läuft nichts schief. Das ist nur ein Event ob und um wieviel Einträge der Cache übergelaufen ist (oder auch nicht). Das kann man für Aktionen ausnutzen (oder auch nicht).

Hat aber alles nichts damit zu tun dass du mehrfache Einträge aus dem doif loggst.
Das ist die übliche Baustelle warum doif entsprechend viele Events erzeugt die dann natürlich geloggt werden wenn es so eingestellt ist.

LG
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

the ratman

#2
schon mal gut, der cache ist mir nur aufgefallen und ich hab's ned ganz kapiert *g*

das doif ist nur n bspl. - zumindest alle meine homematic-sensoren, die ich mir angesehen habe, werden doppelt geschrieben.
aktuelles bspl.:TIMESTAMP;DEVICE;TYPE;EVENT;READING;VALUE;UNIT
2021-10-04 09:43:08;gang_gz_lux;HUEDEVICE;lux: 0;lux;0;
2021-10-04 09:43:04;schlafzimmer_temperatur;CUL_HM;temperature_komma: 18,5;temperature_komma;18,5;°C
2021-10-04 09:43:04;schlafzimmer_temperatur;CUL_HM;temperature_komma: 18,5;temperature_komma;18,5;°C
2021-10-04 09:43:04;schlafzimmer_temperatur;CUL_HM;temperature_alt: 18.6;temperature_alt;18.6;°C
2021-10-04 09:43:04;schlafzimmer_temperatur;CUL_HM;temperature_alt: 18.6;temperature_alt;18.6;°C
2021-10-04 09:43:04;schlafzimmer_temperatur;CUL_HM;temperature: 18.5;temperature;18.5;°C
2021-10-04 09:43:04;schlafzimmer_temperatur;CUL_HM;humidity: 64;humidity;64;%
2021-10-04 09:43:04;schlafzimmer_temperatur;CUL_HM;dewpoint: 11.6;dewpoint;11.6;
scheinbar aber nur die userreadings ... ich bin verwirrt ...

könnte dann sogar das doif betreffen, wenn ich jetzt so drüber nachdenke - da ist ein userreading, das von der hm wetterstation gefüttert wird.

auffällig eben auch - stichtag 27.9. - zumindest von früheren daten hab ich nix doppeltes gefunden.
das kann aber durchaus auch an meinen extra schlechten mysql-kenntnissen hängen, oder macht "set logdb reduceLogNbl 14" so ne bereinigung gleich mit?
→do↑p!dnʇs↓shit←

DS_Starter

Wenn es userreadings betrifft schaust du am Besten dort nach bezüglich der Erstellungskriterien, d.h. falls die Erstellung mehrfach getriggert wird bekommst du entsprechend mehrfache Events.

Um doppelte Logeinträge einfach loszuwerden, bietet sich im DbRep das "set ... delDoublets" an.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

the ratman

#4
uij, das delDoublets kommt gleich in meine tages wartung rein. thx für den hinweis!

was die userreadings angeht, hab ich mal im hm-abteil hierher verwiesen. da wird ja momentan sehr viel rumgebastelt - vielleicht ist das ein nebenkriegsschauplatz.
weil mehr als ein userreading anlegen kann ich ja nicht wirklich. das geht dann, oder nicht, aber doppelt schreiben?

nachtrag:
wo krieg ich den das "delDoublets" her? in den set befehlen von dblog find ichs nicht.
→do↑p!dnʇs↓shit←

DS_Starter

Zitatweil mehr als ein userreading anlegen kann ich ja nicht wirklich. das geht dann, oder nicht, aber doppelt schreiben?
Naja durch eine ungünstige/fehlende Triggerung der Userreadingserstellung wird dessen Wert mehrfach berechnet und im Reading erstellt. Dadurch erhältst du mehrfache (identische) Events die natürlich auch in der DB landen.

Zitatwo krieg ich den das "delDoublets" her? in den set befehlen von dblog find ichs nicht.
Nein, das ist im DbRep (Datenbank Pflege und Auswertungen) zu finden.  ;)
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

the ratman

o.k. betauser ist schon dran bei hm *g*

hehe, da kann ichs ja ned finden. hab noch kein dbrep am laufen, war ja nie nötig.
dann dank ich dir nochmal für die schnelle info!
→do↑p!dnʇs↓shit←