FHEM Forum

FHEM => Frontends => Thema gestartet von: Schuggi am 02 Juni 2013, 12:37:43

Titel: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 12:37:43
Ich bekomme in den Charts (gplot) keine Daten vom Vormonat angezeigt.
Da bin ich wohl nicht der einzige, aber das kann doch so nicht richtig sein!

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 02 Juni 2013, 12:56:24
Das ist in der Tat schrecklich, mich troestet es aber, dass ich das Problem nicht habe.

Oder auch: Wenn man konstruktive Antworten erwartet, dann sollte man soviel Info liefern, dass jemand der helfen will, damit auch was anfangen kann. Merke: Nett sein hilft, um potentielle Helfer zu motivieren :)
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 13:02:16
Hallo Rudolf,
ich hoffe ich war nicht unnett.
Ich hab das Problem in einem anderen Bereich schon mal beschrieben und ein anderer User hat mir von dem gleichen Problem berichtet.
Weiter Infos habe ich da leider nicht erhalten.
Ich bin auf dem Gebiet fhem noch Neuling.
Welche Infos brauchst du, damit du mir helfen kannst?
Vorab schon mal die Info, das ich per Update die aktuellste Version drauf habe.
Ich suche schon mal alles zusammen was ich so finde.

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 13:10:01
Hier schon mal ein Auszug aus meiner fhem.cfg

define ArbeitLog FileLog ./log/Arbeit-%Y-%m.log Arbeit
attr ArbeitLog room Strom

define GraphArbeit weblink fileplot ArbeitLog:GraphArbeit:CURRENT
attr GraphArbeit fixedrange month
attr GraphArbeit label "Max $data{max1} kWh"
attr GraphArbeit room Strom_Graphen


Und hier der Inhaltder Dateien:
Arbeit-2013-05.log
2013-05-29_22:15:50 Arbeit 0.115
2013-05-29_22:18:50 Arbeit 0.022
2013-05-29_23:59:50 Arbeit 0.861
2013-05-30_23:59:50 Arbeit 11.595
2013-05-31_23:59:50 Arbeit 12.221

Arbeit-2013-06.log
2013-06-01_23:59:50 Arbeit 13.997
Und hier das gplot-File:
# Created by FHEMWEB, 2013-05-31 23:27:52
set terminal png transparent size <SIZE> crop
set output '<OUT>.png'
set xdata time
set timefmt "%Y-%m-%d_%H:%M:%S"
set xlabel " "
set title 'Arbeit (Tageswerte) <L1>'
set ytics
set y2tics ()
set grid ytics
set ylabel "[kWh]"
set y2label ""
set yrange [0:15]

#FileLog 3:Arbeit.*::

plot "<IN>" using 1:2 axes x1y1 title 'E' ls l2fill lw 1 with bars


Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 02 Juni 2013, 17:15:07
> define ArbeitLog FileLog ./log/Arbeit-%Y-%m.log Arbeit

%m == Monat
FileLog get funktioniert nicht automatisch ueber Dateigrenze, man muesste hier also die zu verwendende Datei in der weblink Definition spezifizieren statt CURRENT (etwas unpraktisch). Ich verwende Jahreslogs, das Problem tritt bei mir also nur am Anfang des Jahres auf.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 18:33:16
Vielen Dank für den Hinweis,
das werde ich mal probieren.

Mit dem Dateiübergreifenden von wegen Grenze verstehe ich noch einigermassen.
Blättere ich aber tagesweise zurück in einen vergangenen Monat, werden auch keine Daten angezeigt.
Anscheinen wird nie eine andere als die momentan aktuelle Datei geladen.
Das mit dem Monat habe ich gemacht, damit die Datenmenge pro Datei nicht zu groß wird.

Gruß und Dank
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 02 Juni 2013, 18:39:50
Hallo,

ZitatBlättere ich aber tagesweise zurück in einen vergangenen Monat, werden auch keine Daten angezeigt.
Anscheinen wird nie eine andere als die momentan aktuelle Datei geladen.

Das hängt vom Monat ab ;-)
Und der ist jetzt nunmal 06 und nichtmehr 05.
Wenn du den letzten Monat sehen willst musst du dir einen neuen weblink auf den letzten Monat definieren.

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 18:41:31
Danke für den Hinweis,
wie ganau mache ich das bzw. wie sieht so ein Weblink mit der Monatsangabe aus?
Geht das über "fixedrange" oder gibts noch ne andere Möglichkeit?

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 02 Juni 2013, 18:52:38
Hallo,

siehe hier:
http://fhem.de/commandref.html#weblink (//fhem.de/commandref.html#weblink)

Ich verwende sqlite3 auf meinem RasPi - daher habe ich solche Probleme nicht (auch nicht bei Jahreswechsel).

Ich vermute mal nur der weblink wird zuwenig sein.
Du wirst dir auch den FileLog-Eintrag für den letzten Monat dazu machen müssen da der weblink auf das FileLog
referenziert.

Oder ich hab jetzt totalen Blödsinn geschrieben - was durchaus sein kann.

Grüße

Edith: Kopiert, geändert aber ungetestet und ohne Gewähr das es passt oder klappt.
define ArbeitLog_Monat05 FileLog ./log/Arbeit-2013-05.log Arbeit
attr ArbeitLog room Strom

define GraphArbeit weblink fileplot ArbeitLog_Monat05:GraphArbeit:CURRENT
attr GraphArbeit fixedrange month
attr GraphArbeit label "Max $data{max1} kWh"
attr GraphArbeit room Strom_Graphen
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 02 Juni 2013, 19:00:52
> Das mit dem Monat habe ich gemacht, damit die Datenmenge pro Datei nicht zu groß wird.

Was die "Festplatte" angeht ist es mAn vernachlaessigbar (grob etwa 5MB/sensor/jahr). Was die anzuzeigenden Daten angeht ist es ja egal, und fuer die Suche in der Datei wird Binaersuche verwendet, ist also auch egal.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 19:03:47
Ich habs mal auf Jahres-Logfiles umgestellt und die Daten zusammenkopiert.
Die Anzeige ist schon merklich langsamer geworden und ich hab nur Daten von ein paar Tagen.
In die Datei wird alle 5 Minuten eine neue Datenzeile eingefügt.

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 19:09:04
Hallo Puschel74,

Die Zeile:

define GraphArbeit weblink fileplot ArbeitLog_Monat05:GraphArbeit:CURRENT

Funktioniert so bei mir nicht.
Ich finde in der Doku auch keinen Hinweis auf diese Schreibweise. ("ArbeitLog_Monat05")
Gruß
  Schuggi


Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 02 Juni 2013, 19:19:06
>  Die Anzeige ist schon merklich langsamer geworden und ich hab nur Daten von ein paar Tagen.

Das haette ich gerne mit "attr global logfile 5" und "attr global mseclog" bewiesen.
Wenn es stimmt, dann werde ich es fixen (soweit es moeglich ist :)
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 02 Juni 2013, 19:24:04
Hallo,

Zitat von: Schuggi schrieb am So, 02 Juni 2013 19:09Hallo Puschel74,

Die Zeile:

define GraphArbeit weblink fileplot ArbeitLog_Monat05:GraphArbeit:CURRENT

Funktioniert so bei mir nicht.
Ich finde in der Doku auch keinen Hinweis auf diese Schreibweise. ("ArbeitLog_Monat05")
Gruß
  Schuggi
wenn du die Definition des LogFile so eingegeben hast wie von mir angegeben sollet das mAn klappen.
"ArbeitLog_Monat05" ist nur ein Name in FHEM - und den darf jeder gerne selbst vergeben muss dann aber aufpassen auch die
Stelle an zu passen die auf diesen Namen referenzieren.
Daher auch mein Codeschnipsel mit dem FileLog vor dem weblink und in der Nachricht vorher der Hinweis das weblink ohne Filelog
nicht klappen wird.

ZitatFunktioniert so bei mir nicht.
Das kann stimmen - muss es aber nicht.
Die Fehlermeldung von FHEM bzw. der Auszug aus dem FHEM-Logfile wären hilfreicher als ein - Funktioniert so nicht.

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 19:41:29
Zitat von: rudolfkoenig schrieb am So, 02 Juni 2013 19:19>  Die Anzeige ist schon merklich langsamer geworden und ich hab nur Daten von ein paar Tagen.

Das haette ich gerne mit "attr global logfile 5" und "attr global mseclog" bewiesen.
Wenn es stimmt, dann werde ich es fixen (soweit es moeglich ist :)

Was genau muss ich da tun?
Ich nehm mal an zwei Messungen mit der Variante Monatlich oder Jährlich, aber was ich da genau machen soll kapier ich noch nicht.

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 19:48:49
Hallo Puschel74,
ich steh da noch ein wenig auf dem Schlauch.
Klar kan ich mein Filelog "ArbeitLog_Monat05" nennen.
Aber beim Filelog geb ich ja an, welchen Namen die Dateien bekommen und in welchem Intervall die Datei geschrieben wird.
Bei mir sieht das Filelog ja momentan so aus:
define ArbeitLog FileLog ./log/Arbeit-%Y-%m.log Arbeit
Daher gibt es bei mir die beiden Dateien
Arbeit-2013-05.log und Arbeit-2013-06.log

Ich kapier noch nicht, wie ich einen Weblink auf die einzelnen Monate setze.
Sorry aber der Groschen ist noch nicht gefallen.

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 02 Juni 2013, 20:01:50
Hallo,

also nochmal von vorne.

Da du bereits ein

define ArbeitLog FileLog ./log/Arbeit-%Y-%m.log Arbeit
definiert hast und Namen in FHEM nur einmal vorkommen dürfen (um keine Fehlermeldung zu provozieren) musst du ein zweites define anlegen mit
a) anderem Namen und
b) dem Verweis auf das LogFile welches gelesen werden soll.
Also (als Beispiel von mir)

define ArbeitLog_Monat05 FileLog ./log/Arbeit-2013-05.log Arbeit
Hier hast du
a) und b) bereits eingetragen.
a) Der andere Namen des define <ArbeitLog_Monat05> und
b) den Verweis auf das LogFile des letzten Monat <Arbeit-2013-05.log>

Dann noch einen weblink der auf das neue FileLog verweist und du müsstest den Plot des letzten Monat angezeigt bekommen.
Also das

define GraphArbeit_Monat05 weblink fileplot ArbeitLog_Monat05:GraphArbeit:CURRENT
attr GraphArbeit fixedrange month
attr GraphArbeit label "Max $data{max1} kWh"
attr GraphArbeit room Strom_Graphen

hier hatte ich vorher nicht beachtet das natürlich auch der weblink einen neuen Namen bekommen muss.

Da ich gerne (für mich) aussagekräftige Namen verwende habe ich einfach mal <_Monat05> angehängt.

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 20:08:31
Ok, nun kapier ich was du machen willst.
Ich habs mal getestet und glaub da ist noch ein Schönheitsfehler drinnen.
Die Plots gehen immer vom aktuellen Datum aus.
Also soweit ich es sehe, muss ich in ein paar Monaten erst ein paar mal zurückblättern um dann Daten sehen zu können
oder ich setzte den Zeitraum fix und kann dann aber nicht mehr zoomen.

Dank und Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 02 Juni 2013, 20:13:45
Hallo,

sollte es eigentlich nicht.

Lass mal in GraphArbeit_Monat05 das attr fixdrange weg.

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 20:19:24
Habs mal probiert.
da steht dann 2.Jun an der Grafik und die ist natürlich leer.
Blättere ich dann in den Mai zurück, sehe ich die Daten!
Gruß
  Schuggi

PS: Ich machs jetzt wie empfohlen mit Jahresdateien.
Danke für deine Mühen.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 02 Juni 2013, 20:27:25
Hallo,

Zitatda steht dann 2.Jun an der Grafik und die ist natürlich leer.

Logisch - da wir ja heute den 2.Jun haben.
Leer ist es weil auf das 2013-05 verwiesen wird und dort keine Einträge für den 02. Juni vorhanden sind.

ZitatBlättere ich dann in den Mai zurück, sehe ich die Daten!

Das ist das was ich lesen wollte ;-)

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 20:56:32
Das Ganze geht aber auch einfacher.
Im Weblink kann man statt "CURRENT" den Dateinamen der entsprechenden Datei eintragen:-)

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 02 Juni 2013, 21:04:57
Hallo,

Zitat von: Schuggi schrieb am So, 02 Juni 2013 20:56Das Ganze geht aber auch einfacher.
Im Weblink kann man statt "CURRENT" den Dateinamen der entsprechenden Datei eintragen:-)

Gruß
  Schuggi

guckst du - auch ich lerne nicht aus ;-)
Danke für den Tipp.

Erwähnte ich schon das ich sqlite3 als Datenbank für meine Plots benutze *pfeif*
Aus diesem Grund habe ich auch keine weblinks mehr bei mir in Verwendung.
Daher habe ich doch gut geraten ;-)

Aber das ist das schöne bei fhem. Es gibt viele Wege zum Ziel.
Meine führen zwar meist über die linke Schulter von hinten durchs rechte Auge - aber sie klappen auch (zwischendurch).

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 02 Juni 2013, 21:07:22
Kannst du mir da weitere Infos zum Thema sqlite3 geben?
Momentan kann ich damit nichts anfangen.
Gibts da was zum nachlesen?

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 02 Juni 2013, 21:12:34
Hallo,

ZitatGibts da was zum nachlesen?

das kommt drauf an welche Hardeware du hast für fhem.
Eine aussagekräftige Signatur würde solche Nachfragen erübrigen ;-)
siehe Sig bei mir und viele andere

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 03 Juni 2013, 07:50:32
Hallo Puschl74,
ich hab mal meine Signatur ausgefüllt.

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 03 Juni 2013, 08:06:14
Hallo,

dann schau dir mal das an:

Link (http://forum.fhem.de/index.php?topic=10439.0)

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 03 Juni 2013, 08:39:42
>  Was genau muss ich da tun?

Zwei FileLogs (monatlich + jaehrlich) definieren + dazugehoerige Weblinks (mit dem gleichen room Attribut), danach folgendes setzen:
attr global verbose 5
attr global mseclog

Den vorher definierten Raum im Web-browser aufrufen.
Den Ausschnitt fuer diesen Aufruf aus dem fhem-log hier posten.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 03 Juni 2013, 09:32:07
Hallo Rudolf,
hier der Auszug aus der fhem.log
2013.06.03 09:21:25.312 4: /fhem?cmd=showlog%20GraphArbeit%20ArbeitLog%20GraphArbeit%20Arbeit.log&pos= / RL: 1924 / image/svg+xml / Content-Encoding: gzip

 /
2013.06.03 09:21:25.313 4: HTTP FHEMWEB:5.146.61.212:46274 GET /fhem/icons/Zoom-out
2013.06.03 09:21:25.316 4: HTTP FHEMWEB:5.146.61.212:46278 GET /fhem?cmd=showlog%20GraphLeistung2%20LeistungLog2%20GraphLeistung%20P2-2013-06.log&pos=
2013.06.03 09:21:25.329 5: plotcommand: get LeistungLog2 P2-2013-06.log INT 2013-06-03_00:00:00 2013-06-04_00:00:01 3:sStrom.*:: 5:sStrom.*::
2013.06.03 09:21:25.330 5: Cmd: >get LeistungLog2 P2-2013-06.log INT 2013-06-03_00:00:00 2013-06-04_00:00:01 3:sStrom.*:: 5:sStrom.*::<
2013.06.03 09:21:25.395 4: /fhem?cmd=showlog%20GraphLeistung2%20LeistungLog2%20GraphLeistung%20P2-2013-06.log&pos= / RL: 2611 / image/svg+xml / Content-Encoding: gzip

 /
2013.06.03 09:21:25.396 4: HTTP FHEMWEB:5.146.61.212:46276 GET /fhem?cmd=showlog%20GraphLeistung%20LeistungLog%20GraphLeistung%20P-2013.log&pos=
2013.06.03 09:21:25.409 5: plotcommand: get LeistungLog P-2013.log INT 2013-06-03_00:00:00 2013-06-04_00:00:01 3:sStrom.*:: 5:sStrom.*::
2013.06.03 09:21:25.409 5: Cmd: >get LeistungLog P-2013.log INT 2013-06-03_00:00:00 2013-06-04_00:00:01 3:sStrom.*:: 5:sStrom.*::<
2013.06.03 09:21:25.483 4: /fhem?cmd=showlog%20GraphLeistung%20LeistungLog%20GraphLeistung%20P-2013.log&pos= / RL: 2611 / image/svg+xml / Content-Encoding: gzip

 /
2013.06.03 09:21:25.486 4: HTTP FHEMWEB:5.146.61.212:46275 GET /fhem/images/default/fhemicon.png


Du hast recht, es dauert gleich lang.
Eventuell hatte mein Windows-Rechner gerade einen Hänger zu dem Zeitpunkt als ich es gestern probiert hatte.

Ich hab nun alles auf Jahres-Logs umgestellt.
Zum Verständnis hätte ich da noch eine Frage.
Öffnet die Chart selbstständig die Datei oder ist das externer Perlcode.
Ich bin selbst vom Fach und verstehe nicht ganz, warum die Grafik nicht die richtige Datei ermitteln und öffnen kann.

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 03 Juni 2013, 10:08:33
>  Öffnet die Chart selbstständig die Datei oder ist das externer Perlcode.

FileLog liefert die Daten per get Befehl, das ist im Log nach Cmd: zu sehen. falls man das selbst im telnet oder FHEMWEB probieren will, dann sollte man statt INT - angeben, siehe auch http://fhem.de/commandref.html#FileLogget (//fhem.de/commandref.html#FileLogget)
Um dein Problem zu fixen muesste FHEMWEB oder FileLog_Get anhand der from und to Parameter und der FileLog-Definition den richtigen Dateinamen raten. Wg. Wochensicht muss man evtl. zwei Dateien oeffnen, und die Ausgaben fuer SVG sortieren.
Kein Hexenwerk, ich war aber bisher nicht motiviert genug, um das zu programmieren.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 03 Juni 2013, 10:29:34
Danke für die Erklärung.
Hier kurz meine Gedanken zum Thema.
Ich logge schon eine ganze Weile verschiedene Daten wie z.B: Heizungssteuerung, Photovoltaikanlage, Stromverbrauch, Wetterdaten ...
Das mit den Stromdaten hab ich mal auf Fhem umgestellt.
Ich hab eine ATMega programmiert der an drei S0-Stromzählern hängt und per Broadcast die Pulse in mein Netztwerk sendet.
Auf meinem EEE-PC werden die Zählerstände empfangen und per Telnet an Fhem übergeben.

Hier habe ich eine Chart mit Tagesdaten (Leistung und Arbeit). Kurz vor 00:00 schreibe ich die Arbeit in ein extra Log.
Manchmal möchte man die Daten nachschauen also in den Grafiken blättern, auch über Jahre hinweg und da finde ich es halt unschön, das das nicht intuitiv funktioniert.
Ich habe großen Respekt vor dem was du und andere mit Fhem geschaffen habt. Ich hab eine ungefähre Vorstellung was da an Arbeit drinnen steckt.
Wenn ich solche Anfragen stelle, geht es nicht um kritik sondern um Anregungen, die das Projekt verbessern können.
Da ich mich mit Perl noch nicht anfreuen konnte und schon mit genug anderen Programmiersprachen rumschlage, versuche ich mich auf diese Art zu beteiligen.
Wenn es eine bessere Beschreibung der Funktionsweise der Module gibt, als das was ich bisher gefunden habe, würde ich mich eventuell mal daran wagen.
Momentan gehe ich den Umweg über PC-Software und Telnet. Das ist für mich momentan der schnellste Weg und funktioniert sehr gut.


Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 03 Juni 2013, 10:40:44
Hallo,

ZitatManchmal möchte man die Daten nachschauen also in den Grafiken blättern, auch über Jahre hinweg und da finde ich es halt unschön, das das nicht intuitiv funktioniert.

Verständlich.
Aber fhem läuft auf so vielen unterschiedlichen Plattformen das sich die Programmierer hier vermutlich auf einen kleinen gemeinsamen Nenner einigen mussten.
Nicht überall ist ein potenter 4x2.0 GHz Prozessor dahinter ;-)

Aber du kannst dir ja mal den Link von mir oben anschauen.
Die Daten könne zwar (momentan) noch nicht aus dem Log in die DB portiert werden (oder ich bin nur mal wieder zu blöd dazu) aber
dort kannst du dir auch aussuchen ob du Min, Max, Durchschnitt von den Stunden-, Tages-, Wochen-, Monats...... werten angezeigt
habe möchtest.

Einfach mal schauen. Ich hab das auf meine RasPi am laufen und es funktioniert wunderbar.

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 03 Juni 2013, 10:48:01
Hallo,
ich benutze die (neue) Chart schon länger in Verbindung Javascript und hab einige mit mySQL am laufen.
Das hat aber auch nicht nur Vorteile.
Das mit den Textdateien fand ich gar nicht so verkehrt.
Das Backup ist auf jeden Fall einfacher.

Ich überlge mir mal ob ich auf die neue Chart umstelle.
Danke für den Hinweis.

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: herrmannj am 04 Juni 2013, 20:18:43
Zitat von: rudolfkoenig schrieb am So, 02 Juni 2013 19:19>  Die Anzeige ist schon merklich langsamer geworden und ich hab nur Daten von ein paar Tagen.

Das haette ich gerne mit "attr global logfile 5" und "attr global mseclog" bewiesen.
Wenn es stimmt, dann werde ich es fixen (soweit es moeglich ist :)

also da würde ich mich gerne reinhängen weil mich das auch "quält", ich stelle bei "grossen" logs auch fest das die Anzeige >10 sekunden, und gern auch länger, dauert (30sek+). Was mir auch logisch erscheint, schließlich muss ja auch eine grosse Menge Daten "bewegt" werden. Da dieses Verhalten auch nicht ganz konsistent ist vermute ich das auch die Speicherauslastung der FB 7390 eine Rolle spielt ? (swap?)

Ich reiche morgen passende logs nach, aber das ist auch für mich der Grund die logs zu aufzuteilen, die meisten sogar auf Tag. Wenn das "was geht" (-> plots schneller) wäre ich sehr erfreut :)
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 04 Juni 2013, 20:34:42
Hallo,

es kommt auch drauf an welche Daten ihr in den Plots darstellen wollt.

Ein Monatsplot mit 5-minütigen Daten eines Sensors kann durchaus mal eine "Weile" dauern.
Selbst ein Wochenplot schaufelt da schon eine "erhebliche" Menge an Daten durch die Leitung (ich hab es jetzt nicht nachgerechnet gehe aber davon aus das da schon etwas zusammen kommt).

Bei einem Wochenplot eines Temperatursensors schalte ich Hour-Average dazu - bei einem Monatsplot entsprechend Day-Average (weil mich da selbst 10-minütlich gelieferte Werte nichtmehr interessieren).
Bei Strom- und Gassensoren habe ich dafür dann Hour-Sum. bzw. Day-Sum.
Bei einem Jahresplot suche ich mir dann Week-Sum/-Avg oder Month-Sum/Avg aus (je nach Sensor).
Das ganze schön abgespeichert und ich kann wunderbar durch die Plots "wandern".
Ab und an mal den Timerange anpassen um eine grösere Zeitspanne vergleichen zu können und - tiptop.

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 04 Juni 2013, 22:39:23
>  Ich reiche morgen passende logs nach...

Moment...
Ich habe nur behauptet, dass ein Monatslog nicht schneller ist als ein Jahreslog, wenn man den _GLEICHEN_ Auschnitt aus der Datei anzeigt.

Wg. beschleunigen: ich fuerchte das ist einer der wenigen Stellen, wo man schmerzlich merkt, dass perl langsam ist. Ich habe vor Jahren etliche Messungen gemacht und nach Kraeften optimiert, extra fuer den FritzBox. Falls jemand grandiose Ideen hat, dann her damit.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: herrmannj am 05 Juni 2013, 11:01:06
ah, ok.

trotzdem gute Info, gleicher Ausschnitt = gleiche Geschwindigkeit: klingt fair :). Wenn ohnehin schon optimiert schenke ich mir die logs. ich schaue mir mal den Bereich USB Stick und readspeed bei mir an - da ist möglicherweise ja lokales Optimierungspotential.

Dankeschön
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: PeMue am 06 Juni 2013, 09:06:24
Hallo zusammen,

ich war der oben zitierte Andere. Was ich aus der (für mich sehr hilfreichen) Diskussion mitgenommen habe ist:
- mit dem Weblink Attribut CURRENT wird nur das aktuelle Log angezeigt, die Daten aus anderen Dateien werden nicht angezeigt (sprich: bei Monatsdateien ist am ersten des nächsten Monats halt nur ein Datensatz da zum "scrollen")
- wenn man das CURRENT im Weblink durch den entsprechenden Dateinamen ersetzt, wird die angegebene Datei angezeigt, aber halt auch wieder nur die Daten innerhalb dieser Datei

Mein Fazit (ins Unreine gedacht):
- Wäre es möglich, ein Skript zu schreiben, das die pv_erzeugung*.log Dateinamen einliest und als Auswahlparameter für den Weblink übergibt?

Da ich meine Stromdaten auf einer Fritz Box 7170 logge, möchte ich nur Monatsdaten loggen (alle 5 Min. von den EMs, ich hatte Jahresdateien, aber die waren mir dann zu groß), daraus generiere ich ein Log mit dem jeweiligen Tagesverbrauch, bzw. dem jeweiligen Montatsverbrauch. Momentan akzeptiere ich, dass beim Monatswechsel das Scrollen in den Vormonat nicht funktioniert.

@Puschel: Ich vermute, sqlite wird nicht auf der Fritz Box laufen. Außerdem möchte ich die Textdateien "patchen" können, wenn ich den Stromzählerstand korrigiert habe.

Gruß PeMue
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Puschel74 am 06 Juni 2013, 09:11:28
Hallo,

Zitat@Puschel: Ich vermute, sqlite wird nicht auf der Fritz Box laufen. Außerdem möchte ich die Textdateien "patchen" können, wenn ich den Stromzählerstand korrigiert habe.

Ich weiß nur das Juri (so heisst er glaube ich) es geschafft hat das Chart-Frontend auf einer (7390?) zum laufen zu bringen.
Leider habe ich die Anleitung dafür nicht im Wiki gefunden (oder ich war nur mal wieder blind).
Evtl. mal im Chart-Frontend-Beitrag nachfragen.

Achso. "Textdateien" hat es da dann natürlich keine mehr da ja alles in einer Datenbank landet.

Wieso willst du die "patchen" können?
Wenn der Zählerstand korrekt erfasst wird brauchst du doch an den Daten nichts mehr ändern.

Grüße
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Schuggi am 06 Juni 2013, 11:09:09
Zitat von: PeMue schrieb am Do, 06 Juni 2013 09:06...
- wenn man das CURRENT im Weblink durch den entsprechenden Dateinamen ersetzt, wird die angegebene Datei angezeigt, aber halt auch wieder nur die Daten innerhalb dieser Datei
...

Gruß PeMue

Hallo,
soweit ich es noch im Kopf habe, werden die Daten leider aber erst angezeigt, wenn man in deren Zeitbereich scrollt.

Gruß
  Schuggi
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: PeMue am 06 Juni 2013, 13:40:54
Hallo Puschel,

leider stimmt der Gesamtzählerstand vom EM nicht immer mit dem Zählerstand auf dem Stromzähler überein. Ich vermute, dass einzelne Impulse nicht oder zuviel gezählt werden (ca. 1-2 %). Daher aktualisiere ich ab und an (so alle paar Monate) den EM Gesamtzählerstand. Aus diesem Grund wird dann der aktuelle Tag bzw. der aktuelle Monat verfälscht.
Dies korrigiere ich in den Textdaten.

Gruß PeMue
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 06 Juni 2013, 18:46:45
Hab jetzt die noetigen FHEM-Module angepasst, so dass "vergangenge" Logfiles auch durchgesucht werden, falls die Notwendigkeit anhand der von-bis Parameter der Plot erkannt  wird.
Voraussetzung: weblink verwendet CURRENT als Parameter (autocreate & Co. tun das), und die FileLog-Definition verwendet %Y,%m oder %d.
Funktioniert nicht richtig, falls die benoetigten Daten eigentlich aus mehreren Dateien geholt werden muessten: die Wochen-Ansicht ist beim Uebergang ziemlich sicher nicht ganz voll. Aehnliches kann man mit gesetzten endPlotToday beobachten.

Weiterhin gibts ein neues FHEMWEB Attribut SVGcache, um sich nicht mehr aendernde Daten (letzter Tag/Monat/etc) in fhem/www/SVGcache zu speichern, default ist aus. Um den Cache zu leeren ruft man "set FHEMWEBNAME clearSvgCache" auf.


Apropos DB: Man kann in einem DB die gleichen Aenderungen wie in einem Datei durchfuehren, man weiss nur im Allgemeinen nicht, wie das geht, wogegen mit einem  Datei-Editor die meisten umgehen koennen. Hab schon ueberlegt, aus genau diesem Grund fhem.cfg in eine Datenbank zu packen :)
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: PeMue am 06 Juni 2013, 19:58:00
Hallo Rudolf,

erstmal Danke für das Anpassen, werde es auf dem Raspberry Pi mal testen und entsrpechend berichten.

Klar kann man in einer Datenbank die Werte ändern, habe ich auch bei diversen Datenbanken schon gemacht. Aber wenn man nicht weiß, was man tut, wird es schwierig.
Eine Datei wird erst mal gesichert, auf der Kopie bearbeitet, die Kopie eingespielt und wenn sie tut, wird die Sicherung ins Archiv verschoben. Bei einer Datenbank ist das deutlich aufwändiger ...

Gruß PeMue
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: PeMue am 07 Juni 2013, 16:18:09
Hallo Rudolf,

jetzt funktioniert es, danke.
Da meine Fritz Box 7170 beim Update Zicken macht (Absturz), gehe ich davon aus, dass ich dort händisch
 01_FHEMWEB.pm
 92_FileLog.pm und
 98_weblink.pm aktualisieren muss, um dort ebenfalls in diesen  Genuss zu kommen. Korrekt?
Werde aber zur Sicherheit vorher mittels zip-Datei auf v5.4 aktualisieren.

Gruß PeMue
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 07 Juni 2013, 17:00:30
Von der Aenderung waren diese 3 Module betroffen, allerdings habe ich es nur mit dem aktuellen SVN FHEM getestet, und es gibt kein Support fuer teilweise erneuerte Installationen.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: PeMue am 08 Juni 2013, 07:03:19
Hallo Rudolf,

das ist klar. Aber drei Dateien reinkopieren (die alten vorher sichern), ausprobieren und im Zweifel die alten wieder zurückspielen ist auch nicht so der große Aufwand. Und wenn es funktioniert könnten sich vielleicht auch andere darüber freuen ;-)

Gruß PeMue
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: erwin am 08 Juni 2013, 11:39:38
Hi Rudi,

danke für die svgcache Funktion, funktioniert prima,
eine Kleinigkeit: es wird nicht gecached, bei z.b. Zoom=day, offset=-1.... aber bei offset=-2.
patch attached.

PS: Was für die Wunschliste: Wärs möglich, bei der weblink definition offset und zoomlevel pro Weblink zu definieren?
So ähnlich wie fixedrange, aber relativ zum Datum.
Dann wär zum Beispiel ein room möglich mit current-day, previous day, current month, pervious month....usw.

ich hab mit dazu zwar eine weblink_Utils.pm geschrieben, aber der code ist nicht sehr elegant....

l.g. erwin
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 08 Juni 2013, 14:14:20
Hab den Bugfix eingecheckt.

Wg. zoomlevel & offset: das ist an einem Raum gekoppelt, und nicht an einzelne weblinks.
Fuer so einen Raum kann man ein weblink erstellen oder im Menu einen Eintrag.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Mattias am 09 Juni 2013, 11:07:41
Hallo Rudi,

schön, dass man nun über Dateigrenzen hinweg "blättern" kann. Diese Funktion habe ich bei FileLog schmerzlich vermisst. Leider scheint sich bei der Erweiterung ein Fehler eingeschlichen zu haben. Ich habe einen FHT-Plot, für den mir keine Daten mehr anzeigt werden. Alle anderen funktionieren wie gehabt. Der einzige Unterschied zu den anderen Definitionen ist der leidige %L-Platzhalter.

Diese Definition funktioniert nicht:
define FileLog_klima.arbeitszimmer FileLog %L/klima.arbeitszimmer-%Y-%m.log klima.arbeitszimmer

Wenn ich statt des %L den absoluten Pfad verwende sehe ich wieder Daten:
define FileLog_klima.arbeitszimmer FileLog /var/media/ftp/uStor03/fhem/klima.arbeitszimmer-%Y-%m.log klima.arbeitszimmer


Da ich eine relativ große Anzahl von Logfiles und Weblinks habe, wäre ich daran interessiert, wenn %L wieder funktionieren würde. Die Konfiguration ist dann einfach deutlich übersichtlicher.

Apropos FileLog. Der Fehler beim Logfile-Wechsel (print() on closed filehandle) war Anfang Juni noch vorhanden. Vielleicht könntest du die Lösung, die Dietmar dafür hier (http://forum.fhem.de/index.php?topic=10757.msg75903#msg75903) vorgeschlagen hat, im selben Rutsch mit rein nehmen? Immerhin geht da pro FileLog-Definition die jeweils erste Message für das neue Logfile verloren, was ja eigentlich nicht so schön ist.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 09 Juni 2013, 13:03:34
Hab %L jetzt ersetzt.

Sollten wir %L nicht aus FHEM entfernen? Man kann es doch mit einem Symlink auch loesen.
Ich als Programmierer muss dann nicht alle Sonderfaelle beachten.
Dass manche Leute UNIX-Filesystem-Features nicht kennen ist doch keine Argument :)

> Der Fehler beim Logfile-Wechsel (print() on closed filehandle) war Anfang Juni noch vorhanden

Sagt mir nichts (mehr?).
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Mattias am 09 Juni 2013, 14:16:59
> Sollten wir %L nicht aus FHEM entfernen? Man kann es doch mit einem Symlink auch loesen.
> Ich als Programmierer muss dann nicht alle Sonderfaelle beachten.
> Dass manche Leute UNIX-Filesystem-Features nicht kennen ist doch keine Argument :)

Naja, ist halt ein dokumentierter Platzhalter, also sollte er schon wie beschrieben funktionieren. Wenn sich die Funktion nicht so recht in das bestehende System implementieren lässt und immer wieder Probleme macht, wäre entfernen vielleicht wirklich der sinnvollere Weg. Danke erstmal fürs Reparieren.

>> Der Fehler beim Logfile-Wechsel (print() on closed filehandle) war Anfang Juni noch vorhanden

> Sagt mir nichts (mehr?).

Deswegen hatte ich den Beitrag von Dietmar verlinkt. Seit ungefähr 5 Monaten wird beim Logfilewechsel, typischerweise also am Monatsersten, die erste Message eines jeden FileLogs gedroppt, weil versucht wird ein geschlossenes Filehandle zum Schreiben zu verwenden. In dem Beitrag von Dietmar ist das recht einleuchtend erklärt. Ich hatte heute morgen nochmal nachgeschaut und hatte den Eindruck, dass der Fehler noch vorhanden ist.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 09 Juni 2013, 16:26:48
> Deswegen hatte ich den Beitrag von Dietmar verlinkt.

Sorry, den Link habe ich uebersehen.
Die Vermutung ist korrekt, und ich habe es jetzt gefixed.
Dank fuer die Meldung, die "Anfaengerfragen" lese ich nur unregelmaessig.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Drombusch am 19 Juni 2013, 18:29:46
Hi Rudi,

bin neu hier, also muss ich mich erstmal für deiner fantastischen Arbeit hier bedanken!

Dein post oben konnte mein Problem lösen. Ich hatte nämlich Logfiles mit Wochennummern (%W) und da bleib der Plot neuerdings leider leer. Ist die Baustelle noch offen oder bleibt das so?

Danke
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 20 Juni 2013, 09:55:37
Aeh. konnte oder konnte nicht?

Automatisches "blaettern" zu einer anderen Datei wird nur mit den Wildcards %L,%Y,%m und %d unterstuetzt, ich meine das auch geschrieben zu haben. Ich empfehle Jahreslogs (nur %Y)
Apropos "neuerdings": es sollte alles, was vorher lief, auch weiterhin laufen.

Die Baustelle ist fuer mich zu.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: Drombusch am 20 Juni 2013, 19:30:55
Für mich ist alles gut, weil ich mich auf die genannten Wildcards beschränke...
...aber laut "FileLog"-Doku geht auch %w, %j, %U und %W.

Seit Monaten laufen meine Logfiles mit %W, wobei ich natürlich immer nur das letzte File im Plot sehen konnte. Seit der Erweiterung zeigen die Plots gar nichts mehr!

Anders gesagt: Bei Files mit %W fehlt nicht nur das Multi-File-blättern, sondern sie funktionieren gar nicht mehr.
Titel: Aw: Bug: keine Daten vom Vormonat im gplot
Beitrag von: rudolfkoenig am 21 Juni 2013, 09:10:50
>Bei Files mit %W fehlt nicht nur das Multi-File-blättern, sondern sie funktionieren gar nicht mehr.

Stimmt, habs leider beim Einbau des Mult-File-Blaetterns nicht getestet. Habs jetzt gefixed und eingecheckt.