Bug: keine Daten vom Vormonat im gplot

Begonnen von Schuggi, 02 Juni 2013, 12:37:43

Vorheriges Thema - Nächstes Thema

Schuggi

Danke für die Erklärung.
Hier kurz meine Gedanken zum Thema.
Ich logge schon eine ganze Weile verschiedene Daten wie z.B: Heizungssteuerung, Photovoltaikanlage, Stromverbrauch, Wetterdaten ...
Das mit den Stromdaten hab ich mal auf Fhem umgestellt.
Ich hab eine ATMega programmiert der an drei S0-Stromzählern hängt und per Broadcast die Pulse in mein Netztwerk sendet.
Auf meinem EEE-PC werden die Zählerstände empfangen und per Telnet an Fhem übergeben.

Hier habe ich eine Chart mit Tagesdaten (Leistung und Arbeit). Kurz vor 00:00 schreibe ich die Arbeit in ein extra Log.
Manchmal möchte man die Daten nachschauen also in den Grafiken blättern, auch über Jahre hinweg und da finde ich es halt unschön, das das nicht intuitiv funktioniert.
Ich habe großen Respekt vor dem was du und andere mit Fhem geschaffen habt. Ich hab eine ungefähre Vorstellung was da an Arbeit drinnen steckt.
Wenn ich solche Anfragen stelle, geht es nicht um kritik sondern um Anregungen, die das Projekt verbessern können.
Da ich mich mit Perl noch nicht anfreuen konnte und schon mit genug anderen Programmiersprachen rumschlage, versuche ich mich auf diese Art zu beteiligen.
Wenn es eine bessere Beschreibung der Funktionsweise der Module gibt, als das was ich bisher gefunden habe, würde ich mich eventuell mal daran wagen.
Momentan gehe ich den Umweg über PC-Software und Telnet. Das ist für mich momentan der schnellste Weg und funktioniert sehr gut.


Gruß
  Schuggi
Fhem auf EEE-PC Windows7 (XAMPP),
CUL,
(RasPi, QNAP TS109II)
Angebunden an Fhem:
2xVelux-Rolladen, 3x S0 Stromzähler, Wetterstation WH1080, 2x S300TH

Puschel74

Hallo,

ZitatManchmal möchte man die Daten nachschauen also in den Grafiken blättern, auch über Jahre hinweg und da finde ich es halt unschön, das das nicht intuitiv funktioniert.

Verständlich.
Aber fhem läuft auf so vielen unterschiedlichen Plattformen das sich die Programmierer hier vermutlich auf einen kleinen gemeinsamen Nenner einigen mussten.
Nicht überall ist ein potenter 4x2.0 GHz Prozessor dahinter ;-)

Aber du kannst dir ja mal den Link von mir oben anschauen.
Die Daten könne zwar (momentan) noch nicht aus dem Log in die DB portiert werden (oder ich bin nur mal wieder zu blöd dazu) aber
dort kannst du dir auch aussuchen ob du Min, Max, Durchschnitt von den Stunden-, Tages-, Wochen-, Monats...... werten angezeigt
habe möchtest.

Einfach mal schauen. Ich hab das auf meine RasPi am laufen und es funktioniert wunderbar.

Grüße
Zotac BI323 als Server mit DBLog
CUNO für FHT80B, 3 HM-Lan per vCCU, RasPi mit CUL433 für Somfy-Rollo (F2F), RasPi mit I2C(LM75) (F2F), RasPi für Panstamp+Vegetronix +SONOS(F2F)
Ich beantworte keine Supportanfragen per PM! Bitte im Forum suchen oder einen Beitrag erstellen.

Schuggi

Hallo,
ich benutze die (neue) Chart schon länger in Verbindung Javascript und hab einige mit mySQL am laufen.
Das hat aber auch nicht nur Vorteile.
Das mit den Textdateien fand ich gar nicht so verkehrt.
Das Backup ist auf jeden Fall einfacher.

Ich überlge mir mal ob ich auf die neue Chart umstelle.
Danke für den Hinweis.

Gruß
  Schuggi
Fhem auf EEE-PC Windows7 (XAMPP),
CUL,
(RasPi, QNAP TS109II)
Angebunden an Fhem:
2xVelux-Rolladen, 3x S0 Stromzähler, Wetterstation WH1080, 2x S300TH

herrmannj

Zitat von: rudolfkoenig schrieb am So, 02 Juni 2013 19:19>  Die Anzeige ist schon merklich langsamer geworden und ich hab nur Daten von ein paar Tagen.

Das haette ich gerne mit "attr global logfile 5" und "attr global mseclog" bewiesen.
Wenn es stimmt, dann werde ich es fixen (soweit es moeglich ist :)

also da würde ich mich gerne reinhängen weil mich das auch "quält", ich stelle bei "grossen" logs auch fest das die Anzeige >10 sekunden, und gern auch länger, dauert (30sek+). Was mir auch logisch erscheint, schließlich muss ja auch eine grosse Menge Daten "bewegt" werden. Da dieses Verhalten auch nicht ganz konsistent ist vermute ich das auch die Speicherauslastung der FB 7390 eine Rolle spielt ? (swap?)

Ich reiche morgen passende logs nach, aber das ist auch für mich der Grund die logs zu aufzuteilen, die meisten sogar auf Tag. Wenn das "was geht" (-> plots schneller) wäre ich sehr erfreut :)

Puschel74

Hallo,

es kommt auch drauf an welche Daten ihr in den Plots darstellen wollt.

Ein Monatsplot mit 5-minütigen Daten eines Sensors kann durchaus mal eine "Weile" dauern.
Selbst ein Wochenplot schaufelt da schon eine "erhebliche" Menge an Daten durch die Leitung (ich hab es jetzt nicht nachgerechnet gehe aber davon aus das da schon etwas zusammen kommt).

Bei einem Wochenplot eines Temperatursensors schalte ich Hour-Average dazu - bei einem Monatsplot entsprechend Day-Average (weil mich da selbst 10-minütlich gelieferte Werte nichtmehr interessieren).
Bei Strom- und Gassensoren habe ich dafür dann Hour-Sum. bzw. Day-Sum.
Bei einem Jahresplot suche ich mir dann Week-Sum/-Avg oder Month-Sum/Avg aus (je nach Sensor).
Das ganze schön abgespeichert und ich kann wunderbar durch die Plots "wandern".
Ab und an mal den Timerange anpassen um eine grösere Zeitspanne vergleichen zu können und - tiptop.

Grüße
Zotac BI323 als Server mit DBLog
CUNO für FHT80B, 3 HM-Lan per vCCU, RasPi mit CUL433 für Somfy-Rollo (F2F), RasPi mit I2C(LM75) (F2F), RasPi für Panstamp+Vegetronix +SONOS(F2F)
Ich beantworte keine Supportanfragen per PM! Bitte im Forum suchen oder einen Beitrag erstellen.

rudolfkoenig

>  Ich reiche morgen passende logs nach...

Moment...
Ich habe nur behauptet, dass ein Monatslog nicht schneller ist als ein Jahreslog, wenn man den _GLEICHEN_ Auschnitt aus der Datei anzeigt.

Wg. beschleunigen: ich fuerchte das ist einer der wenigen Stellen, wo man schmerzlich merkt, dass perl langsam ist. Ich habe vor Jahren etliche Messungen gemacht und nach Kraeften optimiert, extra fuer den FritzBox. Falls jemand grandiose Ideen hat, dann her damit.

herrmannj

ah, ok.

trotzdem gute Info, gleicher Ausschnitt = gleiche Geschwindigkeit: klingt fair :). Wenn ohnehin schon optimiert schenke ich mir die logs. ich schaue mir mal den Bereich USB Stick und readspeed bei mir an - da ist möglicherweise ja lokales Optimierungspotential.

Dankeschön

PeMue

Hallo zusammen,

ich war der oben zitierte Andere. Was ich aus der (für mich sehr hilfreichen) Diskussion mitgenommen habe ist:
- mit dem Weblink Attribut CURRENT wird nur das aktuelle Log angezeigt, die Daten aus anderen Dateien werden nicht angezeigt (sprich: bei Monatsdateien ist am ersten des nächsten Monats halt nur ein Datensatz da zum "scrollen")
- wenn man das CURRENT im Weblink durch den entsprechenden Dateinamen ersetzt, wird die angegebene Datei angezeigt, aber halt auch wieder nur die Daten innerhalb dieser Datei

Mein Fazit (ins Unreine gedacht):
- Wäre es möglich, ein Skript zu schreiben, das die pv_erzeugung*.log Dateinamen einliest und als Auswahlparameter für den Weblink übergibt?

Da ich meine Stromdaten auf einer Fritz Box 7170 logge, möchte ich nur Monatsdaten loggen (alle 5 Min. von den EMs, ich hatte Jahresdateien, aber die waren mir dann zu groß), daraus generiere ich ein Log mit dem jeweiligen Tagesverbrauch, bzw. dem jeweiligen Montatsverbrauch. Momentan akzeptiere ich, dass beim Monatswechsel das Scrollen in den Vormonat nicht funktioniert.

@Puschel: Ich vermute, sqlite wird nicht auf der Fritz Box laufen. Außerdem möchte ich die Textdateien "patchen" können, wenn ich den Stromzählerstand korrigiert habe.

Gruß PeMue
RPi3Bv1.2 rpiaddon 1.66 6.0 1xHM-CC-RT-DN 1.4 1xHM-TC-IT-WM 1.1 2xHB-UW-Sen-THPL-O 0.15 1x-I 0.14OTAU  1xCUNO2 1.67 2xEM1000WZ 2xUniroll 1xASH2200 3xHMS100T(F) 1xRFXtrx 90 1xWT440H 3xTFA30.3150 5xFA21
RPi1Bv2 LCDCSM 1.63 5.8 2xMAX HKT 1xMAX RT V200KW1 Heizung Wasser

Puschel74

Hallo,

Zitat@Puschel: Ich vermute, sqlite wird nicht auf der Fritz Box laufen. Außerdem möchte ich die Textdateien "patchen" können, wenn ich den Stromzählerstand korrigiert habe.

Ich weiß nur das Juri (so heisst er glaube ich) es geschafft hat das Chart-Frontend auf einer (7390?) zum laufen zu bringen.
Leider habe ich die Anleitung dafür nicht im Wiki gefunden (oder ich war nur mal wieder blind).
Evtl. mal im Chart-Frontend-Beitrag nachfragen.

Achso. "Textdateien" hat es da dann natürlich keine mehr da ja alles in einer Datenbank landet.

Wieso willst du die "patchen" können?
Wenn der Zählerstand korrekt erfasst wird brauchst du doch an den Daten nichts mehr ändern.

Grüße
Zotac BI323 als Server mit DBLog
CUNO für FHT80B, 3 HM-Lan per vCCU, RasPi mit CUL433 für Somfy-Rollo (F2F), RasPi mit I2C(LM75) (F2F), RasPi für Panstamp+Vegetronix +SONOS(F2F)
Ich beantworte keine Supportanfragen per PM! Bitte im Forum suchen oder einen Beitrag erstellen.

Schuggi

Zitat von: PeMue schrieb am Do, 06 Juni 2013 09:06...
- wenn man das CURRENT im Weblink durch den entsprechenden Dateinamen ersetzt, wird die angegebene Datei angezeigt, aber halt auch wieder nur die Daten innerhalb dieser Datei
...

Gruß PeMue

Hallo,
soweit ich es noch im Kopf habe, werden die Daten leider aber erst angezeigt, wenn man in deren Zeitbereich scrollt.

Gruß
  Schuggi
Fhem auf EEE-PC Windows7 (XAMPP),
CUL,
(RasPi, QNAP TS109II)
Angebunden an Fhem:
2xVelux-Rolladen, 3x S0 Stromzähler, Wetterstation WH1080, 2x S300TH

PeMue

Hallo Puschel,

leider stimmt der Gesamtzählerstand vom EM nicht immer mit dem Zählerstand auf dem Stromzähler überein. Ich vermute, dass einzelne Impulse nicht oder zuviel gezählt werden (ca. 1-2 %). Daher aktualisiere ich ab und an (so alle paar Monate) den EM Gesamtzählerstand. Aus diesem Grund wird dann der aktuelle Tag bzw. der aktuelle Monat verfälscht.
Dies korrigiere ich in den Textdaten.

Gruß PeMue
RPi3Bv1.2 rpiaddon 1.66 6.0 1xHM-CC-RT-DN 1.4 1xHM-TC-IT-WM 1.1 2xHB-UW-Sen-THPL-O 0.15 1x-I 0.14OTAU  1xCUNO2 1.67 2xEM1000WZ 2xUniroll 1xASH2200 3xHMS100T(F) 1xRFXtrx 90 1xWT440H 3xTFA30.3150 5xFA21
RPi1Bv2 LCDCSM 1.63 5.8 2xMAX HKT 1xMAX RT V200KW1 Heizung Wasser

rudolfkoenig

Hab jetzt die noetigen FHEM-Module angepasst, so dass "vergangenge" Logfiles auch durchgesucht werden, falls die Notwendigkeit anhand der von-bis Parameter der Plot erkannt  wird.
Voraussetzung: weblink verwendet CURRENT als Parameter (autocreate & Co. tun das), und die FileLog-Definition verwendet %Y,%m oder %d.
Funktioniert nicht richtig, falls die benoetigten Daten eigentlich aus mehreren Dateien geholt werden muessten: die Wochen-Ansicht ist beim Uebergang ziemlich sicher nicht ganz voll. Aehnliches kann man mit gesetzten endPlotToday beobachten.

Weiterhin gibts ein neues FHEMWEB Attribut SVGcache, um sich nicht mehr aendernde Daten (letzter Tag/Monat/etc) in fhem/www/SVGcache zu speichern, default ist aus. Um den Cache zu leeren ruft man "set FHEMWEBNAME clearSvgCache" auf.


Apropos DB: Man kann in einem DB die gleichen Aenderungen wie in einem Datei durchfuehren, man weiss nur im Allgemeinen nicht, wie das geht, wogegen mit einem  Datei-Editor die meisten umgehen koennen. Hab schon ueberlegt, aus genau diesem Grund fhem.cfg in eine Datenbank zu packen :)

PeMue

Hallo Rudolf,

erstmal Danke für das Anpassen, werde es auf dem Raspberry Pi mal testen und entsrpechend berichten.

Klar kann man in einer Datenbank die Werte ändern, habe ich auch bei diversen Datenbanken schon gemacht. Aber wenn man nicht weiß, was man tut, wird es schwierig.
Eine Datei wird erst mal gesichert, auf der Kopie bearbeitet, die Kopie eingespielt und wenn sie tut, wird die Sicherung ins Archiv verschoben. Bei einer Datenbank ist das deutlich aufwändiger ...

Gruß PeMue
RPi3Bv1.2 rpiaddon 1.66 6.0 1xHM-CC-RT-DN 1.4 1xHM-TC-IT-WM 1.1 2xHB-UW-Sen-THPL-O 0.15 1x-I 0.14OTAU  1xCUNO2 1.67 2xEM1000WZ 2xUniroll 1xASH2200 3xHMS100T(F) 1xRFXtrx 90 1xWT440H 3xTFA30.3150 5xFA21
RPi1Bv2 LCDCSM 1.63 5.8 2xMAX HKT 1xMAX RT V200KW1 Heizung Wasser

PeMue

Hallo Rudolf,

jetzt funktioniert es, danke.
Da meine Fritz Box 7170 beim Update Zicken macht (Absturz), gehe ich davon aus, dass ich dort händisch
 01_FHEMWEB.pm
 92_FileLog.pm und
 98_weblink.pm aktualisieren muss, um dort ebenfalls in diesen  Genuss zu kommen. Korrekt?
Werde aber zur Sicherheit vorher mittels zip-Datei auf v5.4 aktualisieren.

Gruß PeMue
RPi3Bv1.2 rpiaddon 1.66 6.0 1xHM-CC-RT-DN 1.4 1xHM-TC-IT-WM 1.1 2xHB-UW-Sen-THPL-O 0.15 1x-I 0.14OTAU  1xCUNO2 1.67 2xEM1000WZ 2xUniroll 1xASH2200 3xHMS100T(F) 1xRFXtrx 90 1xWT440H 3xTFA30.3150 5xFA21
RPi1Bv2 LCDCSM 1.63 5.8 2xMAX HKT 1xMAX RT V200KW1 Heizung Wasser

rudolfkoenig

Von der Aenderung waren diese 3 Module betroffen, allerdings habe ich es nur mit dem aktuellen SVN FHEM getestet, und es gibt kein Support fuer teilweise erneuerte Installationen.