93_DbLog - Umstellung Log-Funktion auf non-blocking

[stromer-12]

Ein Insert ist mit index langsamer, nicht schneller. Das Update macht zwar einen Full-Table-Scan, der ist abe rbei kleinen Tabellen nicht langsamer als mit index.
Wieviele Datensätze hat deine Current-Tabelle denn?

Wenn Du experimentierfreudig bist wäre dieser Test spannend:

1. Lege einen Primary Key an, der doppelte Datensätze verhindert

Code Auswählen Erweitern

ALTER TABLE `current` ADD INDEX `pri` (`TIMESTAMP`, `DEVICE`, `READING`);

2.
In Zeile 943 die Zeile

Code Auswählen Erweitern

$sth_ic = $dbhp->prepare("INSERT INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)");
in

Code Auswählen Erweitern

$sth_ic = $dbhp->prepare("INSERT IGNORE INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)");
ändern und ab Zeile 947 dafür sorgen, dass direkt INSERT anstatt zuerst update ausgeführt wird.
Wenn Du den neuen asynchronen Modus nutzt,  befinden sich die benötigten Zeilen weiter unten im Modul.
Dies sollte eigentlich deutlich flotter sein.... aber getestet habe ich es nie, da ich CURRENT nicht nutze.

(Edith: DbLog Version 2.9.1)

Ich habe jetzt bei mir in der Tabelle Current eine Primarindex auf Device und Reading angelegt.
Sowie in der DbLog in Zeile 947 und 1213 ein

Code Auswählen Erweitern

ON DUPLICATE KEY UPDATE DEVICE = VALUES(DEVICE), READING = VALUES(READING)
an den INSERT angefügt, mehr nicht.

Damit werden in der Current keine dopperlten Device+Reading Einträge mehr erzeugt und ich erhalte keine Fehlermeldung.

[JoeALLb]

Hallo Heiko,

du hast doch auch keine Sorgen mit den SVG's bzw. Vorschauwerten nehme ich an ?

Nein, bei mir alles gut! Daher interessiert mich die Info aus "show preprocessed imput", denn dann sieht man ob das Modul DbLog alle Daten liefert.
Wenn es alle Daten liefert, könnte eben ein Fehler in der Anzeige sein, also im svg.js oder anderen Modulen, die in letzter Zeit auch aktualisiert wurden.

[chris1284]

Ist das reproduzierbar?

ja.

"show preprocessed imput" klickts, kommen da sämtliche Daten oder sind dort die Lücken ebenfalls vorhanden?

alle daten da.
das lustige ist: im room ist der plot unvollständig (mal stopt zb nur der hum-graph , mal der temp). das wechselt dann zwischen den plots je öfter man refreshed.
in der ploteditor ansicht werden die graphen weiter gezeichnet

schalte ich plotfork aus, gehts. offenbar kommt irgendwas damit nicht klar

[DS_Starter]

Hallo Chris,

ich habe die aktuelle Version mit und ohne plotfork hoch und runter probiert und keinerlei Probleme mit Plots oder Vorschauenwerten festgestellt.
Hmm ... Browsercache mal geleert ?

[chris1284]

Hmm ... Browsercache mal geleert ?

ja

[JoeALLb]

Ich könnte mir vorstellen, dass die Anzeige der Plots, und nicht unbedingt DbLog daran "schuld" ist...

Ich hatte es gerade in einem Test jedoch geschafft, dass mein ganzes System nicht mehr funktionierte. Es lies sich nicht mehr starten,
ohne nennenswerte Logeinträge.
Geholfen hat letztlich nur ein revert der fhem.pl auf den Stand von gestern...

Da ich jetzt weg muss, kann ich es leider nicht mehr detailierter testen, aber in diesem Modul hat
heute bisher alles funktioniert!

[DS_Starter]

Hallo Chris,

kann die Feststellung von Joe auch bestätigen ... funktioniert bei mir alles bestens.
Trotzdem ... bitte teste nochmal die V2.9 aus #265, wie es mit der ausieht. Da hatte ich die MySQL-Meldung erledigt die versch. User hatten.
Danach kamen nur kleine Ergänzungen.

Und deine Daten sind ja auch alle da. Das Logging ist also auch ok.....

[chris1284]

l die V2.9 aus #265

hat das selbe problem

verwende SQLite version 3.8.7.1

[stromer-12]

Ich habe das mal so eingebaut mit IGNORE, da wird das Log mit

Code Auswählen Erweitern

2017.01.15 17:51:14.282 2: DbLog myDbLog -> Failed to insert into current: ...
geflutet.

Ein Insert ist mit index langsamer, nicht schneller. Das Update macht zwar einen Full-Table-Scan, der ist abe rbei kleinen Tabellen nicht langsamer als mit index.
Wieviele Datensätze hat deine Current-Tabelle denn?

Wenn Du experimentierfreudig bist wäre dieser Test spannend:

1. Lege einen Primary Key an, der doppelte Datensätze verhindert

Code Auswählen Erweitern

ALTER TABLE `current` ADD INDEX `pri` (`TIMESTAMP`, `DEVICE`, `READING`);

2.
In Zeile 943 die Zeile

Code Auswählen Erweitern

$sth_ic = $dbhp->prepare("INSERT INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)");
in

Code Auswählen Erweitern

$sth_ic = $dbhp->prepare("INSERT IGNORE INTO current (TIMESTAMP, DEVICE, TYPE, EVENT, READING, VALUE, UNIT) VALUES (?,?,?,?,?,?,?)");
ändern und ab Zeile 947 dafür sorgen, dass direkt INSERT anstatt zuerst update ausgeführt wird.
Wenn Du den neuen asynchronen Modus nutzt,  befinden sich die benötigten Zeilen weiter unten im Modul.
Dies sollte eigentlich deutlich flotter sein.... aber getestet habe ich es nie, da ich CURRENT nicht nutze.

[DS_Starter]

Hallo Chris1284,

teste bitte die hier angehängte Version 93_DbLog_V2.9.2_Chris.
Ich habe sie bei mir allen mir möglichen Variatioen getestet und läuft nach wie vor einwandfrei mit MySQL.
Bitte schau die das unter SQLite an, ob das Problem bei dir weg ist.

Grüße
Heiko

[stromer-12]

Ich habe das mal so eingebaut mit IGNORE, da wird das Log mit

Code Auswählen Erweitern

2017.01.15 17:51:14.282 2: DbLog myDbLog -> Failed to insert into current: ...
geflutet.

Aber nur wenn bei einen commit ein neuer Datensatz mehrmals auftaucht, danach nicht mehr.

[chris1284]

keine besserung. anbei mal ein screenshot der plots, danach einer nach einem einfachen f5 in paint neben den ersten gelegt. danach ein screen vom plot im detail (wo lles schick ist). im IE siehts genau so aus, auf allen tablets auch.
gehe ich zurück auf die alte version, alles top

[DS_Starter]

Hallo Chris,

bitte nochmal.

[chris1284]

leider nein

[DS_Starter]

Jetzt habe ich aber alles so nach und nach zurückgedreht ....
Hats du eigentlich immer restartet ?  neme mal an ja.
Arbeitest du mit dem normalen synchronen Modus ?