76_SMAPortal - Integration SMA Sunny Portal - Ideen & Modulweiterentwicklung

DS_Starter · 24 Juni 2020, 15:55:22

Die plantOid wird bei dir tatsächlich nicht im JSON geliefert. Sehr merkwürdig.
Bei mir wird die oid im JSON mitgebracht.
Da muss ich alternativ für solche Fälle vorsehen, die Daten aus dem gelieferten Cookie auszulesen.
Es wird nicht langweilig ...

dk3572 · 24 Juni 2020, 16:24:17

Zitat von: DS_Starter am 24 Juni 2020, 15:55:22
Die plantOid wird bei dir tatsächlich nicht im JSON geliefert. Sehr merkwürdig.
Bei mir wird die oid im JSON mitgebracht.
Da muss ich alternativ für solche Fälle vorsehen, die Daten aus dem gelieferten Cookie auszulesen.
Es wird nicht langweilig ...

das evtl.. irgend ein Modul bei mir fehlt?

Das libjson-perl wäre bei mir die neueste Version.

Code Auswählen

Vorbereitung

Dieses Modul nutzt das Perl-Modul JSON welches üblicherweise nachinstalliert werden muss.
Auf Debian-Linux basierenden Systemen kann es installiert werden mit:

sudo apt-get install libjson-perl

Überblick über die Perl-Module welche von SMAPortal genutzt werden:

POSIX
JSON
Data::Dumper
Time::HiRes
Time::Local
Blocking (FHEM-Modul)
GPUtils (FHEM-Modul)
FHEM::Meta (FHEM-Modul)
LWP::UserAgent
HTTP::Cookies
MIME::Base64
Encode
utf8

Michael · 24 Juni 2020, 16:51:23

Moin DS_Starter

.
Bei mir ist es das selbe mit der plantOid

zb. Meldung aus dem Modul.

ZitatThe logbook cannot be retrieved because of the plant ID isn't set.

DS_Starter · 24 Juni 2020, 17:03:21

Zitatdas evtl.. irgend ein Modul bei mir fehlt?

Nein, die Daten werden vom Portal nicht geliefert.

Wie gesagt ich melde mich. Muss was einbauen.

DS_Starter · 24 Juni 2020, 18:27:28

In meinem contrib liegt eine angepasste Version.
Zieht die euch bitte runter und restartet FHEM.
Es sollte nun auch bei euch beiden klappen.

Zum Download in der FHEMWEB Kommandozeile inklusive der Ausführungszeichen angeben:

Code Auswählen

"wget -qO ./FHEM/76_SMAPortal.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/DS_Starter/76_SMAPortal.pm"

LG,
Heiko

dk3572 · 24 Juni 2020, 18:54:33

Zitat von: DS_Starter am 24 Juni 2020, 18:27:28
In meinem contrib liegt eine angepasste Version.
Zieht die euch bitte runter und restartet FHEM.
Es sollte nun auch bei euch beiden klappen.

Zum Download in der FHEMWEB Kommandozeile inklusive der Ausführungszeichen angeben:

Code Auswählen Erweitern
"wget -qO ./FHEM/76_SMAPortal.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/DS_Starter/76_SMAPortal.pm"

LG,
Heiko

ja, funktioniert.
Vielen Dank und VG Dieter

DS_Starter · 24 Juni 2020, 19:13:21

Prima ... ist eingecheckt und morgen früh in der Verteilung.

LG

ClausL · 25 Juni 2020, 19:43:48

Hallo,

seit gestern habe ich wieder Probleme mit dem Datenabruf. Einloggen des Users klappt zumächst. Wenn er aber Daten haben will, meint das Portal, dass die Rechte dafür nicht ausreichen. Erweitern der Rechte im Portal hilft nicht. Ich habe jetzt einen anderen User angelegt, den mit den gleichen Rechten ausgestattet (Standartuser). Die Daten dann im Modul geändert. Und siehe da, die Daten kommen wieder.

Meiner Meinung nach passt SMA hier irgendwas mit dem Datenabruf nicht. Daher werden dann dem User die Leserechte entzogen. Merkwürdigerweise kann dieser User aber alle im Portal verfügbaren Daten im Browser ansehen.

Im Verbose5-Log finde ich folgenden Eintrag:

2020.06.25 19:15:52 4: Sunny - Getting consumerMasterdata
2020.06.25 19:15:52 2: Sunny - ERROR - User logged in but unauthorized
2020.06.25 19:15:52 5: Sunny - No JSON Data received:

Wenn das nicht hilft, kann ich natürlich noch mehr liefern.

Viele Grüße, Claus

DS_Starter · 25 Juni 2020, 20:35:44

ZitatWenn das nicht hilft, kann ich natürlich noch mehr liefern.

Das ist nicht nötig. Das Verhalten haben wir ja schon mehrfach beobachtet mit der entsprechenden "Lösung".

Eine dauerhafte Lösung habe ich leider auch nicht weil momentan auch keine Idee wo anzusetzen wäre.
Wer etwas beitragen kann, bitte gern. Aber Logs nicht weil bekannt.

Ich habe bei mir das interval auf 10min eingestellt, weil es mir vor allem auf die statistischen/Forecast Daten und die Schaltmöglichkeit der Verbraucher ankommt.
Sollte es nochmal auftreten, werde ich die liveDaten nicht mehr abrufen. Das geht ja nun mit der aktuellen Version.

Für mich persönlich ist das Verhalten von SMA nicht zeitgemäß. Eine Schnittstelle anzubieten wäre kundenfreundlich, denn wir (die SMAPortal-Nutzer) sind ja Kunden und haben deren Technik gekauft. Nun ja...

ZitatMeiner Meinung nach passt SMA hier irgendwas mit dem Datenabruf nicht.

Ja klar, lt. Nutzungsbedingungen ist ein automatischer Datenabruf nicht erlaubt, wurde aber in der Vergangenheit bei entsprechend großen Abrufintervallen (> 2min) toleriert. Vielleicht ist diese Toleranzgrenze nicht mehr vorhanden, ich weiß es nicht.

LG,
Heiko

ClausL · 25 Juni 2020, 20:44:34

Hallo, Heiko

die 10 Minuten hatte ich auch schon eingestellt. Ich bin aber skeptisch, ob das hilft. Warten wir ab, was in den nächsten Tagen / Wochen geschieht.

Was die Schnittstelle angeht, ist die ja eigentlich vorhanden. Zumindest zu den verbauten Geräten. Das funktioniert sehr gut bei der im Wiki beschriebenen Energiebilanz. Dort fehlen mir eigentlich nur die Batteriedaten. Wenn ich wieder Zeit habe, will ich mich dran machen und die einbauen.

Was dort nicht abrufbar ist, sind die Wetterdaten und die Vorhersage der Ertragsdaten. Und auf die könnte ich hier auch verzichten, da ich (noch) keine Geräte automatisch schalte. Da dürfte ich doch einige Probleme mit der Cheffin hier im Hause bekommen.

Vieleicht ändert sich das, wenn ich es mir leisten kann, die Mobilität auf elektrisch umzustellen.

Viele Grüße, Claus

DS_Starter · 25 Juni 2020, 21:27:41

ZitatDas funktioniert sehr gut bei der im Wiki beschriebenen Energiebilanz

Ja, die hatte ich mal mit DbRep erarbeitet und benutze sie bei auch produktiv mit SMAEM und SMAInverter.

Aber zum Beispiel die statistischen Daten der Bluetoothdosen oder das Schalten derer sind schon kein schlechtes Feature.

Aber ich habe vllt. doch noch eine Idee.
Ich habe das Löschen der Cookiedatei jetzt ausgeschaltet. Das Löschen ist reingekommen als der Datenabruf mit Anfang des Jahres sehr instabil wurde. Mit dem inzwischen totalen Umbau des Moduls braucht man das vermutlich nicht mehr und ich habe es bei mir ausgeschaltet.
Läuft einwandfrei erstmal. Der Erfolg wird sich aber erst noch zeigen.

Wer es aber auch schon gern bei sich ausprobieren möchte, kann die Version aus meinem contrib ziehen:

Code Auswählen


"wget -qO ./FHEM/76_SMAPortal.pm https://svn.fhem.de/fhem/trunk/fhem/contrib/DS_Starter/76_SMAPortal.pm"

Grüße,
Heiko

uxtuner · 25 Juni 2020, 21:57:47

bekomme ich in den Readings irgendwo den Wert für den Gesamtertrag/Gesamterzeugung?

DS_Starter · 25 Juni 2020, 22:10:18

Hallo Uwe,

momentan noch nicht, aber das Modul ist dafür vorbereitet und die Integration weiterer Daten wie statistische Werte für Monat, Jahr und Gesamt ist von mir vorgesehen, auswählbar für individuelle Zeiträume.
Das sind die nächsten Schritte, vorausgesetzt wir bekommen etwas Ruhe in die User Berechtigungsproblematik.

Grüße,
Heiko

uxtuner · 26 Juni 2020, 06:34:27

Hallo Heiko,

das wäre ziemlich cool - genau das fehlt mir noch für die Berechnung ...

DS_Starter · 26 Juni 2020, 13:51:34

Hallo zusammen,

mit der veränderten Cookieverwaltung habe ich sehr gute Ergebnisse erzielt.
Die Anzahl der ausgestellten Cookies und damit Sessionauferneuerungen wird drastisch reduziert.
Ich hatte das Interval wieder auf 2min gesenkt um den Worst Case Fall zu checken und wie man an den Readings sieht:

Code Auswählen


     2020-06-26 13:45:31   dailyCallCounter 26:461
     2020-06-26 12:46:52   dailyIssueCookieCounter 26:15

wurden nur 15 Cookies ausgestellt/erneuert im Vergleich zu 461 Abrufzyklen mit sämtlichen Datenprovidern.
Ich habe die berechtigte Hoffnung dass dadurch das Berechtigungsproblem für die Zukunft beseitigt sein könnte.

Ich habe das Ganze noch verfeinert und wieder ins contrib gestellt. Download wie in #160 angegeben.
Heute Abend checke ich die Version ein wenn ich nicht noch etwas negatives feststellen sollte und ist morgen früh im Update enthalten.

EDIT: hatte einen Syntaxfehler entdeckt -> nochmal laden falls getan

LG,
Heiko