76_SMAPortal - Integration SMA Sunny Portal - Ideen & Modulweiterentwicklung

Begonnen von DS_Starter, 08 Juli 2019, 18:45:46

Vorheriges Thema - Nächstes Thema

Waldmensch

Ist jetzt nicht irgendwie Kriegsentscheidend, aber das Forecast Chart wird im Safari unter iOS sehr seltsam aus


Gesendet von iPhone mit Tapatalk

DS_Starter

Hallo miteinander,

seit längerer Zeit habe ich mich mal wieder mit dem SMAPortal befasst.
Im contrib liegen neue Versionen von SMAPortal und SMAPortalSPG.
Vermutlich checke ich sie heute Abend noch ein, falls mir nichts negatives noch aufallen sollte.

Was ist neu bzw. geändert:

* SMAPortalSPG ist auf Packages umgestellt
* SMAPortal reagiert auf weitere Warnungen/Errors des Portals wenn Daten nicht abgerufen werden können und stabilisiert dadurch noch mehr den Datenabruf indem Wiederholungen getriggert werden.
* einen Bug im Cookiemanagement entfernt
* das Schalten von Verbrauchern über SMAPortal ist vom Datenabruf entkoppelt. Dadurch reagiert das Schalten schneller falls die Livedaten nicht oder nur nach Wiederholungen abgerufen werden konnten wie es bei mir seit einigen Tagen der Fall ist.
* die Logausgaben sind überarbeitet und geben mehr/bessere Infos
* einige Codeüberarbeitungen gemäß PBP

@Waldmensch, deine Meldung hatte ich gesehen und auch nicht vergessen. Allerdings ist mir da bisher nichts eingefallen was man dafür machen könnte. Vielleicht hat Wzut eine Idee ?

Wer mag zum Download in der FHEMWEB Kommandozeile inklusive der Ausführungszeichen angeben und danach FHEM restarten:


"wget -qO ./FHEM/76_SMAPortal.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/DS_Starter/76_SMAPortal.pm"
"wget -qO ./FHEM/76_SMAPortalSPG.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/DS_Starter/76_SMAPortalSPG.pm"


Grüße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

Wzut

Zitat von: DS_Starter am 20 April 2020, 17:17:58
Vielleicht hat Wzut eine Idee ?
wird schwer da ich es nicht nachstellen kann ( Apfelfreies Haus )
@Waldmensch, bei jedem Style oder nur bei bestimmten ?  und nur Forcast , d.h. die anderen drei sind OK ?
Maintainer der Module: MAX, MPD, UbiquitiMP, UbiquitiOut, SIP, BEOK, readingsWatcher

Waldmensch

Auf dem iPhone verwendet FHEM automatisch den IOS Style. Habe noch nicht versucht einen anderen zu forcen. Die anderen Plots habe ich nicht, getestet, da ich sie nicht verwende. Ich frage den WR lokal ab. Wie gesagt, für mich nicht wirklich Kriegsentscheidend, da aufgrund meines D.C. gekoppelten Speichers der Forecast eh nur Grütze anzeigt. Beispiel mitten in der Nacht 500W Erzeugung. Das stimmt zwar, der Strom kommt aber nicht vom Dach, sondern aus dem Akku ;)


Gesendet von iPhone mit Tapatalk

DS_Starter

Ich habe in der SMAPortalgrafik noch die Logik für die Zeitangabe

  SMA Sunny Portal   (Stand: xx.xx.xxxx xx:xx:xx)

geändert. Bisher wurde der Stand einfach aus dem letzten Update ermittelt.
Jetzt wird die Zeit des letzten erfolgreichen Updates der Live Daten verwendet.

Liegt wieder im contrib und morgen früh sehr wahrscheinlich im Regelupdate.

Grüße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

Bitschubser

Hallo,
vielen Dank erstmal für das tolle Modul, das gibt ja jede Menge Infos raus.

Bin ich Betriebsblind oder gibt es einfach keinen Wert für die bisherige Tagesleistung / Tagesverbrauch?
Im SunnyPortal sind beide Werte ja vorhanden.

Lieb Grüße
Jens

FHEM in VM auf Proxmox, Homematic über 2x HM-Lan, Homematic-IP über Raspimatic in VM auf Proxmox, Solax-X3 G4-Wechselrichter, Pushover, TTS, Shelly + Sonoff über MQTT

DS_Starter

Hallo Jens,

Zitat
Bin ich Betriebsblind oder gibt es einfach keinen Wert für die bisherige Tagesleistung / Tagesverbrauch?
Im SunnyPortal sind beide Werte ja vorhanden.
Ja, ich weiß und du bist auch nicht betriebsblind.
Das sind Statistikwerte (gibt noch mehr im Portal). Ich habe bisher leider noch nicht herausbekommen wie man an diese Daten mit einem einfachen Seitenaufruf rankommt.
Wenn da jemand eine zündende Idee hat und das rausbekommt, einfach mal Bescheid geben. Dann baue ich das gerne mit ein.  :)

Grüße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

BerndArnold

Hallo Heiko,
vielen Dank für das Modul. Ich wurde aus dem anderen Thread zum SHM-Modul getriggert, das jetzt auch auszuprobieren :) Ich habe auch gleich deine empfohlenen Einstellungen übernommen - läuft!

Zitat von: DS_Starter am 08 Mai 2020, 22:30:43
Wenn da jemand eine zündende Idee hat und das rausbekommt, einfach mal Bescheid geben.

Der bisherige Tagesleistung und der Tagesverbrauch wird über die Seite https://www.sunnyportal.com/FixedPages/HoManEnergyRedesign.aspx/GetLegendWithValues übermittelt. Also Antwort gibt es dann die Daten als JSON ("Key":"Energy","Title":"Tagesertrag","Value":"43,11 kWh",...) zurück.

Viele Grüße
Bernd
FHEM auf Raspberry Pi mit Arch Linux
2x HM-LAN, 1x CUL
HomeMatic, FS20, Dreambox, Fritzbox
MQTT zur Kommunikation mit zweiter und dritter FHEM-Instanz

DS_Starter

Guten Morgen Bernd,

hoffe du hattest gestern einen schönen Tag !

Das ist ein super Hinweis von dir, danke ! Die Daten schaue ich mir doch gleich mal an und versuche sie im Modul zu ergänzen. Dadurch wird das Modul noch inhaltsvoller und infomativer.

Hattest du eigentlich bemerkt, dass dein relative Forecast-Ansatz mit eingeflossen ist ?
Stehst auch in den Analen des Moduls mit drin.  :)

Zitat
#       Credits (Thanks to all!):
#           Brun von der Gönne <brun at goenne dot de> :  author of 98_SHM.pm
#           BerndArnold                                :  author of 98_SHMForecastRelative.pm
#           Wzut/XGuide                                :  creation of SMAPortal graphics

Ich melde mich wieder mit einer Version wenn ich die Infos eingebaut habe.

Grüße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

BerndArnold

Hallo Heiko,

den hatte ich. Einen Feiertag nehme ich immer gerne mit :-) Ich hoffe, du hattest ebenfalls einen schönen Tag.

Super, vielen Dank schon Mal!

Ja, mir sind die Bezeichner ThisHour/Next04Hours/... irgendwie bekannt vorgekommen ;-)
Dankeschön, freut mich sehr! Das habe ich damals erstellt, weil ich damit die Spülmaschine und die Waschmaschine steuere. Das muss ich jetzt nur noch anpassen, weil ja nun alles in einem Modul ist. Aber das nehme ich sehr gerne in Kauf :)

Viele Grüße
Bernd
FHEM auf Raspberry Pi mit Arch Linux
2x HM-LAN, 1x CUL
HomeMatic, FS20, Dreambox, Fritzbox
MQTT zur Kommunikation mit zweiter und dritter FHEM-Instanz

DS_Starter

Hallo miteinander,

wegen der in der letzten Zeit gehäuften Meldungen bezüglich eines auftretenden instabilen Datenabrufs vom SMA Portal habe ich mir die Sache nochmal vorgenommen und so wie es aussieht auch eine Lösung einbauen können.
Die Ergebnisse bei mir und auch bei BerndArnold, der freundlicherweise im Hintergrund mit aktiv getestet hat, sind sehr vielversprechend.
Wir haben jetzt wieder den stabilen Zustand erreicht, den wir hatten, bevor die beobachteten Instablitäten der letzten Wochen auftraten.

Neben der Stabilisierung sind weitere Verbesserungen eingeflossen:

* es gibt die Readings dailyCallCounter und dailyIssueCookieCounter. Sie zeigen die täglichen Anzahl der Abrufe vom SMA Portal bzw. die tägliche Anzahl der ausgestellten Cookies. Diese Angaben sind u.U. im Fehler-/Supportfall hilfreich bzw. auch sonst evtl. interessant.

* neues Kommando "set ... delCookieFile" zum manuellen Löschen des aktiven Cookies

* die aktuelle PV-Erzeugung bzw. Consumption wird in der Portalgrafik mit angezeigt

* Änderungen in Logausgaben und Formatierung der Readingswerte in L1_WarningMessages, L1_InfoMessages, L1_ErrorMessages

Es ist weiterhin zu vermuten, dass die Anzahl der täglichen Cookieausstellungen einen Einfluß auf die Abrufstablität hat.
Deswegen setzt euch bitte das Attribut cookielifetime nicht kleiner als 3600 (Sek) bzw. setzt es nicht. Dann zieht der Standard 3600 Sek.
Ich überlege noch, ob ich generell Werte kleiner 3600 für dieses Attribut verbiete.

Die neue Version 2.7.0 ist noch nicht eingecheckt, aber wer möchte kann sie sich bereits aus meinem contrib laden.
Zum Download in der FHEMWEB Kommandozeile inklusive der Ausführungszeichen angeben:


"wget -qO ./FHEM/76_SMAPortal.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/DS_Starter/76_SMAPortal.pm"


Danach FHEM restarten.

Grüße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

Holger S

Ich bekomme zur Zeit gar keine Daten, außer Login erfolgreich.
dailyCallCounter und dailyIssueCookieCounter zählt jede Sekunde hoch auch wenn Gerät disabled

Internals:
   CREDENTIALS Set
   FUUID      5d62b9f5-f33f-4151-e01e-39f28d9072ee0fbc
   FVERSION   76_SMAPortal.pm:v2.7.2-s21740/2020-04-21
   MODE       Automatic - next polltime: 09:19:10
   NAME       MySMAPortal
   NR         1121
   STATE      initialized
   TYPE       SMAPortal
   HELPER:
     GETTER     all
     PACKAGE    FHEM::SMAPortal
     RETRIES    3
     SETTER     none
     SPGDETAIL 
     SPGDEV     SPG1.MySMAPortal
     SPGROOM   
     VERSION    2.7.2
     oldlogintime 1590736559
     RUNNING_PID:
       abortFn    FHEM::SMAPortal::ParseAborted
       arg        MySMAPortal|all|none
       bc_pid     44904
       finishFn   FHEM::SMAPortal::ParseData
       fn         FHEM::SMAPortal::GetSetData
       loglevel   5
       pid        9255
       timeout    300
       abortArg:
   READINGS:
     2020-05-29 09:15:59   L1_Login-Status successful
     2020-05-29 09:15:58   dailyCallCounter 29:35076
     2020-05-29 09:15:59   dailyIssueCookieCounter 29:35077
     2020-05-29 09:14:09   state           initialized
Attributes:
   cookielifetime 3600
   detailLevel 4
   disable    0
   getDataRetries 4
   interval   300
   room       Solar
   timeout    300
   userAgent  Mozilla/5.0 (Windows NT 10.0;; Win64;; x64;; rv:75.0) Gecko/20100101 Firefox/75.0


Grüße

DS_Starter

Moin,

zieh dir die aktuelle Version nochmal aus dem contrib bitte und restart.
Wie siehtves dann bei dir aus ?

Lg,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

arokh12

Hallo,
ich habe vor 1 Stunde mal die neue Version eingespielt. Lieder muss ich feststellen, dass jetzt keine Daten mehr bezogen werden vom SMAPortal.

Ich muss erst das Cookie löschen, dann wird der aktuelle Stand vom Portal geladen. Der bleibt so lange, bis der Cookie wieder gelöscht wird.

Mit freundlichen Grüßen
arokh12

DS_Starter

Das hatte ich auch schon festgestellt. Deswegen ist der Stand auch nicht eingecheckt.
Die letzten Tage habe ich mit einem weiteren Umbau des Moduls bzgl. der Prozesslogik verbracht um den Abruf zu stailisieren.

BerndArnold unterstützt mich.
Ich melde mich wieder wenn ich einen neuen Stand habe.

Grüße,
Heiko
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter