logProxy modul zum manipulieren und ergänzen von SVG plots

[frank]

das letzte datum hast du in $data{currdate1} das kannst du im label attribut verwenden. im plotfile verwendest du dann <L1> als label. das wird dann durch das attribut ersetzt.

oder du holst das datum mit ReadingVal(...) direkt aus dem reading.

das ist zwar noch nicht das, was ich mir vorstelle, aber fürs erste völlig aus reichend. danke.

nun habe ich noch einen wunsch für logproxy. es müsste doch möglich sein, dass man sich für einen logproxy plot die zeitwerte aus einer frei wählbaren spalte aussuchen kann. somit könnte ich internetdaten, die mit einem erfassungszeitpunkt bereitgestellt werden, zeitrichtig darstellen. ebenso wäre das einlesen ganzer datenblöcke, zb für einen ganzen tag, möglich. ausserdem könnte ich zukunftsdaten (vorhersagedaten) plotten. was sagst du dazu?

gruss frank

[justme1968]

du kannst daten auch direkt mit dem originalen erfasssungszeitpunkt loggen. das withings und das netatmo modul machen das schon so. man muss nur bei FileLog darauf achten das nicht mehrere devices in ein file geloggt werden da alle zeitpunkte in einem file monoton steigend sein müssen.

um diese vergangenen werte mit vorhersagen zu kombinieren würde ich zwei plot zeilen verwenden. die kurven teile könnten dann aneinander stoßen und sogar verschieden farbig sein.

gruß
  andre

[frank]

du kannst daten auch direkt mit dem originalen erfasssungszeitpunkt loggen.

das mache ich gerade mit einer kleinen ergänzung im filelog modul.

Code Auswählen Erweitern

  if($s =~ m/^T-/) {
#     my $evt = $s;
$t = $1 if($s =~ s/(\d\d\d\d-\d\d-\d\d_\d\d:\d\d:\d\d)$/$t/);
#     Log 1,"----- $ln, $n ----- logTime:$t, logEvt:$s, event:$evt";
  }
bei readings, die mit "T-" beginnen, wird ein erfassungs-timestamp gesucht und gegebenenfalls ausgetauscht.

man muss nur bei FileLog darauf achten das nicht mehrere devices in ein file geloggt werden da alle zeitpunkte in einem file monoton steigend sein müssen.

ich logge zur zeit alles in eine datei. probleme hatte ich auch vermutet, aber bisher sieht es so aus, dass nur die zeiten pro reading monoton aufsteigend sein müssen. zumindestens habe ich noch keine probleme feststellen können.

nun denke ich aber, dass es schöner wäre, die daten für die x-achse aussuchen zu können. wenn man mit den gepollten daten etwas steuern möchte, ist man ja "gezwungen" mit den veralteten informationen zu arbeiten. dazu ist eine visualisierung der daten beim eintreffen in fhem sinnvoll. andererseits kann man durch gleichzeitige darstellung der daten mit jeweils unterschiedlichen zeitpunkten auch sehr schön feststellen, das eine verzerrung der kurve entstehen kann, da die bereitstellung der daten im internet, oder das abholen der daten durch zb verbindungsprobleme nicht immer die selbe verzögerung hat. aus diesen gründen möchte ich beide zeitpunkte zur verfügung haben. da wäre es natürlich schöner alle daten einer bestimmten messgrösse in einem reading beisammen zu haben und je nach bedarf aussuchen zu können. kann man grundsätzlich ja auch mit doppelten readings realisieren, wie ich das zur zeit umsetze.

aus deiner antwort entnehme ich dann, dass es aus logproxy sicht nicht von interesse ist. schade.

gruss frank

[justme1968]

aus welchem device kommen denn die daten?

wenn du du zu jedem reading das mit readingsBulkUpdate erzeugt wird $hash->{CHANGETIME}[index] auf die erfassungs zeit setzt wird das reading mit diesem timestamp ins log geschrieben. es gibt auch noch ein $hash->{".updateTimestamp"} mit dem das reading im frontend erscheint.

jetzt verstehe ich erst was du genau machen möchtest.

für eine visualisierung der abweichung zwischen erfassungs- und auslesezeitpunkt würde aber dich auch ein zusätzliches reading mit dem auslesezeitpunk genügen. ohne alle readings zu verdoppeln. in der kurve würden dann die erfassungszitpunkte verwendet und ein zusätzlicher plot könnte jeweils einen punkt an den auslesezeitpunkt setzen. da siehst du dann auch schön ob es hier Unregelmäßigkeiten gab.

in fhem ist es überall ziemlich fest verdrahtet das es immer einzelne messungen sind die dann jeweils einen zeitpunkt haben.

ich sage nicht das es nicht interessant ist. aber ich habe noch keine idee wie man das wirklich allgemeingültig lösen kann. zumal das mit den spalten filelog spezifisch ist und bei dblog nicht funktioniert.

gruss
  andre

[frank]

in fhem ist es überall ziemlich fest verdrahtet das es immer einzelne messungen sind die dann jeweils einen zeitpunkt haben.

deswegen mein neuer ansatz, die datenerzeugung (measureTime) ins reading aufzunehmen und die datenerfassung in fhem (logTime) unberührt zu lassen. über ein einfaches userreading, baue ich mir zur zeit ein reading mit den daten und dem measureTimestamp zusammen. sollte sich einmal in ferner zukunft das handling unterschiedlicher timestamps ergeben (die hoffnung stirbt zuletzt  ), könnten module, eventuell sogar über attribut wählbar, readings gleich mit measureTimestamp erzeugen.

für eine visualisierung der abweichung zwischen erfassungs- und auslesezeitpunkt würde aber dich auch ein zusätzliches reading mit dem auslesezeitpunk genügen. ohne alle readings zu verdoppeln. in der kurve würden dann die erfassungszitpunkte verwendet und ein zusätzlicher plot könnte jeweils einen punkt an den auslesezeitpunkt setzen. da siehst du dann auch schön ob es hier Unregelmäßigkeiten gab.

im zusammenspiel mit event-on-change und unterschiedlichen datenreadings, die nicht alle gleichzeitig aktualisiert werden natürlich nicht sehr komfortabel, aber sicherlich auch irgendwie machbar. zwei echte plots nebeneinander sind in ihrer aussagekraft damit in keinem fall vergleichbar.

aus welchem device kommen denn die daten?

zur zeit hauptsächlich über httpmod. ausserdem experimentiere ich gerade mit wettermodulen, zb proplanta.

ich sage nicht das es nicht interessant ist. aber ich habe noch keine idee wie man das wirklich allgemeingültig lösen kann. zumal das mit den spalten filelog spezifisch ist und bei dblog nicht funktioniert.

als fritzbox-user ist für mich dblog leider bisher nicht nutzbar. daher habe ich keine erfahrung, was da möglich ist, oder eben nicht. mit dblog sind demnach kombinierte readings wie: "state: T: 12 H: 54 D: 6.8 L: 435 t: 2015-01-31_10:47:15" nicht handhabbar? auch ohne zusätzlichen timestamp nicht? ok, wusste ich nicht.

naiverweise hatte ich gehofft, dass eine option, wie zb timeBase=10, die nötigen zeitpunkte einfach aus einer anderen spalte einsammeln könnte.

gruss frank

[cotecmania]

Hallo,

bei mir funktioniert die "extend"-Funktion nicht für den aktuellen Tag ! Es fehlen einige Messreihen komplett ...
Ohne Extend sind diese aber vorhanden.
Ich "hänge" an jede Messreihe 12 Stunden vorne und hinten hin.

Code Auswählen Erweitern

# Created by FHEM/98_SVG.pm, 2015-02-01 10:47:58
set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title '<TL>'
set ytics
set y2tics
set grid y2tics
set ylabel "Temperatur Grad-C"
set y2label "Anzahl"
set yrange [-20:80]
set y2range [0:50]

#MyLP FileLog:FileLog_KM271,extend=60*60*12:4:KM271.WW_Isttemperatur\x3a::
#MyLP FileLog:FileLog_KM271,extend=60*60*12:4:KM271.Aussentemperatur\x3a::
#MyLP FileLog:FileLog_KM271,extend=60*60*12:4:KM271.HK1_Raumisttemperatur\x3a::
#MyLP FileLog:FileLog_KM271,extend=60*60*12:4:KM271.HK1_Pumpe\x3a:0:($fld[3]/20)+12
#MyLP FileLog:FileLog_BrennerCounter,extend=60*60*12:4:BrennerCounter.countsPerDay\x3a:0:($fld[3])
#MyLP FileLog:FileLog_BrennerCounter,extend=60*60*12:4:BrennerCounter.value\x3a:0:($fld[3])*5
#MyLP FileLog:FileLog_BrennerCounter,extend=60*60*12:4:BrennerCounter.pulseTimePerDay\x3a:0:($fld[3])/60/60

plot "<IN>" using 1:2 axes x1y1 title 'WarmWasser' ls l2 lw 1 with lines,\
     "<IN>" using 1:2 axes x1y1 title 'AussenTemp' ls l0 lw 1 with lines,\
     "<IN>" using 1:2 axes x1y1 title 'InnenTemp' ls l1 lw 1 with lines,\
     "<IN>" using 1:2 axes x1y2 title 'HeizungsPumpe' ls l4 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y2 title 'BrennerStarts' ls l5 lw 0.5 with lines,\
     "<IN>" using 1:2 axes x1y2 title 'Brenner ein/aus' ls l5 lw 1 with steps,\
     "<IN>" using 1:2 axes x1y2 title 'Brennerlaufzeit (h)' ls l6 lw 1 with lines

Im Anhang die Schaubilder von Heute, Vortag und Ohne Extend bei Warmwasser ...

Gruss
Joe

[justme1968]

zeig mal bitte die ausgabe von 'Show preporecessed Input'

gruss
  andre

[cotecmania]

zeig mal bitte die ausgabe von 'Show preporecessed Input'

gruss
  andre

Code Auswählen Erweitern

get MyLP CURRENT INT 2015-02-01_00:00:00 2015-02-02_00:00:01 FileLog:FileLog_KM271,extend=60*60*12:4:KM271.WW_Isttemperatur\x3a:: FileLog:FileLog_KM271,extend=60*60*12:4:KM271.Aussentemperatur\x3a:: FileLog:FileLog_KM271,extend=60*60*12:4:KM271.HK1_Raumisttemperatur\x3a:: FileLog:FileLog_KM271,extend=60*60*12:4:KM271.HK1_Pumpe\x3a:0:($fld[3]/20)+12 FileLog:FileLog_BrennerCounter,extend=60*60*12:4:BrennerCounter.countsPerDay\x3a:0:($fld[3]) FileLog:FileLog_BrennerCounter,extend=60*60*12:4:BrennerCounter.value\x3a:0:($fld[3])*5 FileLog:FileLog_BrennerCounter,extend=60*60*12:4:BrennerCounter.pulseTimePerDay\x3a:0:($fld[3])/60/60

#4:KM271.WW_Isttemperatur\x3a::
#4:KM271.Aussentemperatur\x3a::
#4:KM271.HK1_Raumisttemperatur\x3a::
#4:KM271.HK1_Pumpe\x3a:0:($fld[3]/20)+12
2015-02-01_00:00:00 47
2015-02-01_00:00:00 0
2015-02-01_01:00:00 0
2015-02-01_02:00:00 0
2015-02-01_03:00:00 0
2015-02-01_04:00:00 0
2015-02-01_05:00:00 0
2015-02-01_06:00:00 0
2015-02-01_06:30:04 1
2015-02-01_06:45:04 1
2015-02-01_07:00:00 1
2015-02-01_07:09:35 2
2015-02-01_07:16:02 2
2015-02-01_07:33:09 3
2015-02-01_07:37:35 3
2015-02-01_07:57:29 4
2015-02-01_08:00:00 4
2015-02-01_08:01:47 4
2015-02-01_08:19:15 5
2015-02-01_08:23:51 5
2015-02-01_08:41:32 6
2015-02-01_08:45:49 6
2015-02-01_09:00:00 6
2015-02-01_09:06:11 7
2015-02-01_09:10:08 7
2015-02-01_09:42:37 8
2015-02-01_09:46:34 8
2015-02-01_10:00:00 8
2015-02-01_10:00:49 9
2015-02-01_10:06:04 9
2015-02-01_10:06:28 9
2015-02-01_10:19:29 10
2015-02-01_10:25:48 10
2015-02-01_10:40:03 11
2015-02-01_10:46:19 11
2015-02-01_11:00:00 11
2015-02-01_11:01:59 12
2015-02-01_11:08:23 12
2015-02-01_11:08:52 12
2015-02-01_11:12:12 12
2015-02-01_11:12:37 12
2015-02-01_11:13:20 12
2015-02-01_11:13:47 12
2015-02-01_11:15:59 12
2015-02-01_11:16:25 12
2015-02-01_11:19:50 12
2015-02-01_11:20:15 12
2015-02-01_11:22:43 12
2015-02-01_11:23:11 12
2015-02-01_11:24:54 12
2015-02-01_11:25:41 12
2015-02-01_11:27:53 13
2015-02-01_11:28:29 13
2015-02-01_11:29:09 13
2015-02-01_11:32:08 13
2015-02-01_11:32:37 13
2015-02-01_11:33:16 13
2015-02-01_11:34:10 13
2015-02-01_11:34:39 13
2015-02-01_11:39:02 13
2015-02-01_11:39:30 13
2015-02-01_11:41:43 13
2015-02-01_11:42:10 13
2015-02-01_11:47:10 13
2015-02-01_11:47:41 13
2015-02-01_11:51:57 13
2015-02-01_11:52:26 13
2015-02-01_11:55:35 13
2015-02-01_11:56:05 13
2015-02-01_11:58:21 14
2015-02-01_11:59:30 14
2015-02-01_12:00:00 14
2015-02-01_12:00:00 14
2015-02-01_12:03:56 14
2015-02-01_12:06:23 14
2015-02-01_12:06:50 14
2015-02-01_12:11:01 14
2015-02-01_12:11:31 14
2015-02-01_12:13:18 14
2015-02-01_12:13:47 14
2015-02-01_12:16:05 14
2015-02-01_12:17:14 14
#4:BrennerCounter.countsPerDay\x3a:0:($fld[3])
2015-02-01_00:00:00 0
2015-02-01_01:00:00 0
2015-02-01_02:00:00 0
2015-02-01_03:00:00 0
2015-02-01_04:00:00 0
2015-02-01_05:00:00 0
2015-02-01_06:00:00 0
2015-02-01_06:30:04 5
2015-02-01_06:45:04 0
2015-02-01_07:00:00 0
2015-02-01_07:09:35 5
2015-02-01_07:16:02 0
2015-02-01_07:33:09 5
2015-02-01_07:37:35 0
2015-02-01_07:57:29 5
2015-02-01_08:00:00 5
2015-02-01_08:01:47 0
2015-02-01_08:19:15 5
2015-02-01_08:23:51 0
2015-02-01_08:41:32 5
2015-02-01_08:45:49 0
2015-02-01_09:00:00 0
2015-02-01_09:06:11 5
2015-02-01_09:10:08 0
2015-02-01_09:42:37 5
2015-02-01_09:46:34 0
2015-02-01_10:00:00 0
2015-02-01_10:00:49 5
2015-02-01_10:06:04 5
2015-02-01_10:06:28 0
2015-02-01_10:19:29 5
2015-02-01_10:25:48 0
2015-02-01_10:40:03 5
2015-02-01_10:46:19 0
2015-02-01_11:00:00 0
2015-02-01_11:01:59 5
2015-02-01_11:08:23 5
2015-02-01_11:08:52 0
2015-02-01_11:12:12 0
2015-02-01_11:12:37 0
2015-02-01_11:13:20 0
2015-02-01_11:13:47 0
2015-02-01_11:15:59 0
2015-02-01_11:16:25 0
2015-02-01_11:19:50 0
2015-02-01_11:20:15 0
2015-02-01_11:22:43 0
2015-02-01_11:23:11 0
2015-02-01_11:24:54 0
2015-02-01_11:25:41 0
2015-02-01_11:27:53 5
2015-02-01_11:28:29 5
2015-02-01_11:29:09 5
2015-02-01_11:32:08 5
2015-02-01_11:32:37 5
2015-02-01_11:33:16 0
2015-02-01_11:34:10 0
2015-02-01_11:34:39 0
2015-02-01_11:39:02 0
2015-02-01_11:39:30 0
2015-02-01_11:41:43 0
2015-02-01_11:42:10 0
2015-02-01_11:47:10 0
2015-02-01_11:47:41 0
2015-02-01_11:51:57 0
2015-02-01_11:52:26 0
2015-02-01_11:55:35 0
2015-02-01_11:56:05 0
2015-02-01_11:58:21 5
2015-02-01_11:59:30 5
2015-02-01_12:00:00 5
2015-02-01_12:00:00 5
2015-02-01_12:03:56 0
2015-02-01_12:06:23 0
2015-02-01_12:06:50 0
2015-02-01_12:11:01 0
2015-02-01_12:11:31 0
2015-02-01_12:13:18 0
2015-02-01_12:13:47 0
2015-02-01_12:16:05 0
2015-02-01_12:17:14 0
#4:BrennerCounter.value\x3a:0:($fld[3])*5
2015-02-01_00:00:00 4.52
2015-02-01_00:00:00 0
2015-02-01_01:00:00 0
2015-02-01_02:00:00 0
2015-02-01_03:00:00 0
2015-02-01_04:00:00 0
2015-02-01_05:00:00 0
2015-02-01_06:00:00 0
2015-02-01_06:30:04 0
2015-02-01_06:45:04 0.25
2015-02-01_07:00:00 0.25
2015-02-01_07:09:35 0.25
2015-02-01_07:16:02 0.3575
2015-02-01_07:33:09 0.3575
2015-02-01_07:37:35 0.431388888888889
2015-02-01_07:57:29 0.431388888888889
2015-02-01_08:00:00 0.473333333333333
2015-02-01_08:01:47 0.503055555555556
2015-02-01_08:19:15 0.503055555555556
2015-02-01_08:23:51 0.579722222222222
2015-02-01_08:41:32 0.579722222222222
2015-02-01_08:45:49 0.651111111111111
2015-02-01_09:00:00 0.651111111111111
2015-02-01_09:06:11 0.651111111111111
2015-02-01_09:10:08 0.716944444444444
2015-02-01_09:42:37 0.716944444444444
2015-02-01_09:46:34 0.782777777777778
2015-02-01_10:00:00 0.782777777777778
2015-02-01_10:00:49 0.782777777777778
2015-02-01_10:06:04 0.782777777777778
2015-02-01_10:06:28 0.789444444444445
2015-02-01_10:19:29 0.789444444444445
2015-02-01_10:25:48 0.894722222222222
2015-02-01_10:40:03 0.894722222222222
2015-02-01_10:46:19 0.999166666666667
2015-02-01_11:00:00 0.999166666666667
2015-02-01_11:01:59 0.999166666666667
2015-02-01_11:08:23 0.999166666666667
2015-02-01_11:08:52 1.00722222222222
2015-02-01_11:12:12 1.00722222222222
2015-02-01_11:12:37 1.00722222222222
2015-02-01_11:13:20 1.00722222222222
2015-02-01_11:13:47 1.00722222222222
2015-02-01_11:15:59 1.00722222222222
2015-02-01_11:16:25 1.00722222222222
2015-02-01_11:19:50 1.00722222222222
2015-02-01_11:20:15 1.00722222222222
2015-02-01_11:22:43 1.00722222222222
2015-02-01_11:23:11 1.00722222222222
2015-02-01_11:24:54 1.00722222222222
2015-02-01_11:25:41 1.00722222222222
2015-02-01_11:27:53 1.00722222222222
2015-02-01_11:28:29 1.00722222222222
2015-02-01_11:29:09 1.01833333333333
2015-02-01_11:32:08 1.01833333333333
2015-02-01_11:32:37 1.02638888888889
2015-02-01_11:33:16 1.03722222222222
2015-02-01_11:34:10 1.03722222222222
2015-02-01_11:34:39 1.03722222222222
2015-02-01_11:39:02 1.03722222222222
2015-02-01_11:39:30 1.03722222222222
2015-02-01_11:41:43 1.03722222222222
2015-02-01_11:42:10 1.03722222222222
2015-02-01_11:47:10 1.03722222222222
2015-02-01_11:47:41 1.03722222222222
2015-02-01_11:51:57 1.03722222222222
2015-02-01_11:52:26 1.03722222222222
2015-02-01_11:55:35 1.03722222222222
2015-02-01_11:56:05 1.03722222222222
2015-02-01_11:58:21 1.03722222222222
2015-02-01_11:59:30 1.03722222222222
2015-02-01_12:00:00 1.04555555555556
2015-02-01_12:00:00 1.04555555555556
2015-02-01_12:03:56 1.11111111111111
2015-02-01_12:06:23 1.11111111111111
2015-02-01_12:06:50 1.11111111111111
2015-02-01_12:11:01 1.11111111111111
2015-02-01_12:11:31 1.11111111111111
2015-02-01_12:13:18 1.11111111111111
2015-02-01_12:13:47 1.11111111111111
2015-02-01_12:16:05 1.11111111111111
2015-02-01_12:17:14 1.11111111111111
#4:BrennerCounter.pulseTimePerDay\x3a:0:($fld[3])/60/60


Gruss

[justme1968]

bitte häng mir auch mal die beiden log files hier an.

gruss
  andre

[cotecmania]

Hier die Logfiles  ...
Gruss

[justme1968]

ich kann das problem mit deinen files noch nicht nachstellen. auch wenn ich die systemzeit zurück drehe und die log files aufhören lasse.

tritt das bei dir reproduzierbar jeden tag auf?

kannst du bitte mal die ausgabe von

Code Auswählen Erweitern

get FileLog_BrennerCounter CURRENT - 2015-02-03_12:00:00 2015-02-05_12:00:01 4:BrennerCounter.countsPerDay\x3a:0:($fld[3])und

Code Auswählen Erweitern

get MyLP CURRENT - 2015-02-03_12:00:00 2015-02-05_12:00:01 FileLog:FileLog_BrennerCounter,extend=60*60*12:4:BrennerCounter.countsPerDay\x3a:0:($fld[3])

die zeitpunkte bitte so anpassen das es vom vorherigen tag 12 uhr bis zum nächsten tag 12 uhr  geht.

gruss
  andre

[cotecmania]

Hab eben nochmal nachgeschaut, aber heute sieht es OK aus.
Das verstehe ich nicht. Werde morgen früh nochmals reinschauen

Gruss
Joe

[cotecmania]

Auch heute alles ok ...
Kam da vielleicht was durchs Update ...

Durch den grossen extend werden bei mir nun auch die Daten in der Überschrift "falsch" ausgegeben, da ich auch die MAX-Funktion verwende und diese auf mehr als den angezeigten Bereich zugreift ...

Gruss
Joe

[justme1968]

ja. das ist 'bekannt' und das muss ich noch beheben.

gruß
  andre

[HotteFred]

Hi Andre,

wenn ich x/y Daten plotten möchte und die X-Achse von -20 nach 20 anlege, so ist das kein Problem. Wenn ich aber 20 bis -20 definieren möchte, so geht das bei mir nicht.
Siehst du eine Möglichkeit, das einzubauen? oder kann ich das irgendwie selber umgehen?

Viele Grüße
Fred