76_SMAPortal - Integration SMA Sunny Portal - Ideen & Modulweiterentwicklung

Begonnen von DS_Starter, 08 Juli 2019, 18:45:46

Vorheriges Thema - Nächstes Thema

Bitschubser

Auch bei mir kamen wieder keine Daten an.
Hab daraufhin heute FHEM aktualisiert und einen neuen User bei SMA angelegt
Seitdem kommen wieder Daten. Obwohl ProviderLevel außer "forecast" alles aktiv ist.

EDIT
Es kommen zwar Daten, aber nicht alle:
L01_FeedIn, L01_GridConsumption, L01_FeedIn kommen
L01_PV, L01_SelfConsumption fehlen
/EDIT

Ausgehend von den Posts hier hab ich mal im log geschaut. Auch bei mir fehlt die PlantID

2020.12.02 20:54:46 4: MySMAPortal - ################################################################
2020.12.02 20:54:46 4: MySMAPortal - ###      start new set/get data from SMA Sunny Portal        ###
2020.12.02 20:54:46 4: MySMAPortal - ################################################################
2020.12.02 20:54:46 5: MySMAPortal - SMAPortal version:          3.7.1
2020.12.02 20:54:46 4: MySMAPortal - calculated maximum cycles:  10
2020.12.02 20:54:46 4: MySMAPortal - calculated timeout:         3600
2020.12.02 20:54:46 3: MySMAPortal - Running data cycle: 1 of 10
2020.12.02 20:54:46 5: MySMAPortal - Start operation with CookieLocation: ./log/MySMAPortal_cookie.txt and UserAgent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4044.129 Safari/537.36
2020.12.02 20:54:46 5: MySMAPortal - data get: all, data set: none
2020.12.02 20:54:46 4: MySMAPortal - Credentials read from RAM: sma@meins.de ********
2020.12.02 20:54:48 3: MySMAPortal - User is already logged in.
2020.12.02 20:54:48 4: MySMAPortal - getting plantMasterData
2020.12.02 20:54:48 4: MySMAPortal - ##### extracting plant master data ####
2020.12.02 20:54:48 4: MySMAPortal - Plant ID  not set in data, get it from cookie ...
2020.12.02 20:54:48 4: MySMAPortal - Plant ID  not set !
2020.12.02 20:54:48 4: MySMAPortal - plantMasterData "PlantPeakPower Amount": 10000
2020.12.02 20:54:48 4: MySMAPortal - plantMasterData "PlantPeakPower Symbol": W
2020.12.02 20:54:48 4: MySMAPortal - getting consumerMasterdata
2020.12.02 20:54:48 4: MySMAPortal - ##### extracting consumer master data ####
2020.12.02 20:54:48 4: MySMAPortal - getting detailViewSwitch
2020.12.02 20:54:48 4: MySMAPortal - extracting Helper data
2020.12.02 20:54:48 4: MySMAPortal - getting consumer energy data of current day
2020.12.02 20:54:48 4: MySMAPortal - Request date -> start: 2020-12-02, end: 2020-12-03
2020.12.02 20:54:48 5: MySMAPortal - Request consumer current day data string ->
2020.12.02 20:54:48 4: MySMAPortal - getting consumerDayData
2020.12.02 20:54:48 4: MySMAPortal - ##### extracting consumer history data ####
2020.12.02 20:54:48 4: MySMAPortal - retrieve balanceYearData 2020
2020.12.02 20:54:48 4: MySMAPortal - getting balanceYearData
2020.12.02 20:54:49 4: MySMAPortal - extracting balance data
2020.12.02 20:54:49 4: MySMAPortal - Retrieving the logbook data up to the date: 2020-12-02
2020.12.02 20:54:49 4: MySMAPortal - getting plantLogbook
2020.12.02 20:54:49 4: MySMAPortal - ##### extracting plant logbook data ####
2020.12.02 20:54:49 4: MySMAPortal - retrieve balanceMonthData 2020-12
2020.12.02 20:54:49 4: MySMAPortal - getting balanceMonthData
2020.12.02 20:54:49 4: MySMAPortal - extracting balance data
2020.12.02 20:54:49 4: MySMAPortal - getting weatherData
2020.12.02 20:54:49 4: MySMAPortal - ##### extracting weather data ####
2020.12.02 20:54:49 4: MySMAPortal - Weatherdata content "today": $VAR1 = {
2020.12.02 20:54:49 4: MySMAPortal - Weatherdata content "tomorrow": $VAR1 = {
2020.12.02 20:54:49 4: MySMAPortal - getting consumerCurrentdata
2020.12.02 20:54:49 4: MySMAPortal - ##### extracting consumer current data ####
2020.12.02 20:54:49 4: MySMAPortal - getting liveData
2020.12.02 20:54:49 4: MySMAPortal - ##### extracting live data ####
2020.12.02 20:54:49 4: MySMAPortal - getting balanceTotalData
2020.12.02 20:54:50 4: MySMAPortal - extracting balance data
2020.12.02 20:54:50 4: MySMAPortal - getting consumer energy data of current month
2020.12.02 20:54:50 4: MySMAPortal - Request date -> start: 2020-12-01, end: 2021-01-01
2020.12.02 20:54:50 5: MySMAPortal - Request consumer current month data string ->
2020.12.02 20:54:50 4: MySMAPortal - getting consumerMonthData
2020.12.02 20:54:50 4: MySMAPortal - ##### extracting consumer history data ####
2020.12.02 20:54:50 4: MySMAPortal - getting consumer energy data of current year
2020.12.02 20:54:50 4: MySMAPortal - Request date -> start: 2020-01-01, end: 2021-01-01
2020.12.02 20:54:50 5: MySMAPortal - Request consumer current year data string ->
2020.12.02 20:54:50 4: MySMAPortal - getting consumerYearData
2020.12.02 20:54:50 4: MySMAPortal - ##### extracting consumer history data ####
2020.12.02 20:54:50 4: MySMAPortal - retrieve balanceDayData 2020-12-02
2020.12.02 20:54:50 4: MySMAPortal - getting balanceDayData
2020.12.02 20:54:51 4: MySMAPortal - extracting balance data
2020.12.02 20:54:51 3: MySMAPortal - data retrieval done.


Wenn das cookie gelöscht wird


2020.12.02 20:57:32 4: MySMAPortal - ################################################################
2020.12.02 20:57:32 4: MySMAPortal - ###      start new set/get data from SMA Sunny Portal        ###
2020.12.02 20:57:32 4: MySMAPortal - ################################################################
2020.12.02 20:57:32 5: MySMAPortal - SMAPortal version:          3.7.1
2020.12.02 20:57:32 4: MySMAPortal - calculated maximum cycles:  10
2020.12.02 20:57:32 4: MySMAPortal - calculated timeout:         3600
2020.12.02 20:57:32 3: MySMAPortal - Running data cycle: 1 of 10
2020.12.02 20:57:32 5: MySMAPortal - Start operation with CookieLocation: ./log/MySMAPortal_cookie.txt and UserAgent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.11; rv:86.0) Gecko/20100101 Firefox/86.0
2020.12.02 20:57:32 5: MySMAPortal - data get: all, data set: none
2020.12.02 20:57:32 4: MySMAPortal - Credentials read from RAM: sma@meins.de ********
2020.12.02 20:57:35 4: MySMAPortal - User not logged in. Try login with credentials ...
2020.12.02 20:57:35 3: MySMAPortal - Login into SMA-Portal successfully done with user: sma@meins.de
2020.12.02 20:57:35 4: MySMAPortal - getting plantMasterData
2020.12.02 20:57:35 4: MySMAPortal - ##### extracting plant master data ####
2020.12.02 20:57:35 4: MySMAPortal - Plant ID  not set in data, get it from cookie ...
2020.12.02 20:57:35 4: MySMAPortal - Plant ID: e2649a97-bb26-4041-85f1-f02293effbdb
2020.12.02 20:57:35 4: MySMAPortal - plantMasterData "PlantPeakPower Amount": 10000
2020.12.02 20:57:35 4: MySMAPortal - plantMasterData "PlantPeakPower Symbol": W
2020.12.02 20:57:35 4: MySMAPortal - getting consumerMasterdata
2020.12.02 20:57:36 4: MySMAPortal - ##### extracting consumer master data ####
2020.12.02 20:57:36 4: MySMAPortal - getting detailViewSwitch
2020.12.02 20:57:36 4: MySMAPortal - extracting Helper data
2020.12.02 20:57:36 4: MySMAPortal - getting consumer energy data of current day
2020.12.02 20:57:36 4: MySMAPortal - Request date -> start: 2020-12-02, end: 2020-12-03
2020.12.02 20:57:36 5: MySMAPortal - Request consumer current day data string ->
2020.12.02 20:57:36 4: MySMAPortal - getting consumerDayData
2020.12.02 20:57:36 4: MySMAPortal - ##### extracting consumer history data ####
2020.12.02 20:57:36 4: MySMAPortal - retrieve balanceYearData 2020
2020.12.02 20:57:36 4: MySMAPortal - getting balanceYearData
2020.12.02 20:57:36 4: MySMAPortal - extracting balance data
2020.12.02 20:57:36 4: MySMAPortal - Retrieving the logbook data up to the date: 2020-12-02
2020.12.02 20:57:36 4: MySMAPortal - getting plantLogbook
2020.12.02 20:57:36 4: MySMAPortal - ##### extracting plant logbook data ####
2020.12.02 20:57:36 4: MySMAPortal - retrieve balanceMonthData 2020-12
2020.12.02 20:57:36 4: MySMAPortal - getting balanceMonthData
2020.12.02 20:57:36 4: MySMAPortal - extracting balance data
2020.12.02 20:57:36 4: MySMAPortal - getting weatherData
2020.12.02 20:57:36 4: MySMAPortal - ##### extracting weather data ####
2020.12.02 20:57:36 4: MySMAPortal - Weatherdata content "today": $VAR1 = {
2020.12.02 20:57:36 4: MySMAPortal - Weatherdata content "tomorrow": $VAR1 = {
2020.12.02 20:57:36 4: MySMAPortal - getting consumerCurrentdata
2020.12.02 20:57:37 4: MySMAPortal - ##### extracting consumer current data ####
2020.12.02 20:57:37 4: MySMAPortal - getting liveData
2020.12.02 20:57:37 4: MySMAPortal - ##### extracting live data ####
2020.12.02 20:57:37 4: MySMAPortal - getting balanceTotalData
2020.12.02 20:57:39 4: MySMAPortal - extracting balance data
2020.12.02 20:57:39 4: MySMAPortal - getting consumer energy data of current month
2020.12.02 20:57:39 4: MySMAPortal - Request date -> start: 2020-12-01, end: 2021-01-01
2020.12.02 20:57:39 5: MySMAPortal - Request consumer current month data string ->
2020.12.02 20:57:39 4: MySMAPortal - getting consumerMonthData
2020.12.02 20:57:39 4: MySMAPortal - ##### extracting consumer history data ####
2020.12.02 20:57:39 4: MySMAPortal - getting consumer energy data of current year
2020.12.02 20:57:39 4: MySMAPortal - Request date -> start: 2020-01-01, end: 2021-01-01
2020.12.02 20:57:39 5: MySMAPortal - Request consumer current year data string ->
2020.12.02 20:57:39 4: MySMAPortal - getting consumerYearData
2020.12.02 20:57:39 4: MySMAPortal - ##### extracting consumer history data ####
2020.12.02 20:57:39 4: MySMAPortal - retrieve balanceDayData 2020-12-02
2020.12.02 20:57:39 4: MySMAPortal - getting balanceDayData
2020.12.02 20:57:39 4: MySMAPortal - extracting balance data
2020.12.02 20:57:39 3: MySMAPortal - data retrieval done.


Sehe da nun nicht wirklich einen Unterschied, außer dem nicht vorhandenen Coockie und dem daher nötigen neuen Login

Ich hab null Ahnung von Programmierung, daher wahrscheinlich total Banane die Frage, aber trotzdem:
Im cookie steht an mehreren Stellen: expires="<Datum Uhrzeit>"
Wobei <Datum Uhrzeit> in der Vergangenheit liegt. Müsste das Cookie dann nicht erneuert werden?

Viele Grüße
Jens
FHEM in VM auf Proxmox, Homematic über 2x HM-Lan, Homematic-IP über Raspimatic in VM auf Proxmox, Solax-X3 G4-Wechselrichter, Pushover, TTS, Shelly + Sonoff über MQTT

ClausL

Hallo,

ich habe eben nochmal einen neuen Nutzer angelegt. Und nun läuft es wieder. Vieleicht ist SMA nur am Basteln?

Edit:
Es kommen auch Daten für "L01_PV, L01_SelfConsumption".


Viele Grüße, Claus

DS_Starter

Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Nur zur Info ...
Bei mir funktioniert es leider nicht mehr, weder mit neuem User noch geänderten useragent oder verschiedenen Versionen. Nichts zu machen.
Sehr merkwürdig.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

jual

Nachdem hier einige mit neuen Usern erfolgreich waren habe ich nun auch nochmal einen neuen User angelegt. Eigentlich hatte ich das schon gemacht, als ich die ersten Probleme hatte.

Tatsächlich funktioniert dieser neue User jetzt wieder. Ich bin dabei wie folgt vorgegangen:
- Neuen User angelegt
- Mit diesem User angemeldet
- Die Dialoge für Datenschutz und Nutzungsbedingungen waren es wohl angeklickt, die nach dem Login erscheinen
- Ich habe dann erst einmal nicht die Daten erfasst, also Name usw.
- Das von SMA initial vergebene Passwort habe ich aktuell auch noch nicht angepasst

Als User Agent nutze ich die automatisch vom Modul generierten. Da sind jetzt auch schon verschiedene verwendet worden und bisher läuft es ohne Probleme. Ich bin etwas irritiert, weil ich auch immer noch die Login-Probleme im Browser nachstellen kann.



DS_Starter

Genauso mache ich es auch und habe es in der Vergangenheit so empfohlen. Aber diesmal versagt die Vorgehensweise bei mir. Kann mir momentan wirklich noch keinen Reim darauf machen.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Ich glaube mache mal eine Meldung bei SMA auf. Genau wie du kann ich mich mit dem Browser trotz stimmender Credentials nicht anmelden. Immer wird die Session für XX Sekunden gesperrt weil die Anmeldung nicht geklappt hat, haben soll.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

DS_Starter

Also es ist total irre. Jetzt bin ich im Browser mit einem meiner alten User reingekommen und bekomme die Daten einer Anlage von SMA selbst mit 389,142 kWp Peak in Nettetal. Wow  :D
Man ich glaube bei denen ist total was im Argen.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

Dersch

Also ich kann mich mit meinen Usern ganz normal im Portal anmelden und sehe auch meine eigene Anlage. Über FHEM gibt es aber nur permanente Login Failure. Dies ist seit dem letzen Update des Moduls so. Davor war alles (wieder) ganz normal.

jual

Tja, gestern Abend mit dem neuen User funktionierte es wieder bis heute morgen gegen 8:30. Jetzt habe ich auch wieder login Fehler. Wahrscheinlich sollte man sich tatsächlich mal bei SMA wegen der Login Probleme im Browser melden.

DS_Starter

Bei mir das gleiche nach wie vor. Mit dem Update hat es nichts zu tun auch ältere Versionen gehen nicht mehr. Aber du kannst die aus dem Backup wieder verwenden wenn du magst. Viel Hoffnung habe ich aber nicht weil schon alles mögliche getestet.
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

jual

In der Hoffnung, dass es dort etwas schneller Feedback gibt, habe ich gerade mal einen Beitrag im Photovoltaik Forum gepostet. Dort sind auch SMA Mitarbeiter unterwegs und reagieren in der Regel auf solche Meldungen. Darüber hinaus habe ich dort gesehen, dass es tatsächlich ein paar neue Funktionen ab 2021 geben soll (irgendeine Relaisanbindung aber auch die von mir schon erwähnte Smarthome Funktion). Hier wurde auch auf ein Dokument mit Passwortregeln verwiesen. Die scheinen also vielleicht tatsächlich gerade an den Funktionen rumzubasteln.

https://files.sma.de/dl/8584/Sicherheit-TDE103010.pdf?fbclid=IwAR3EaNocC8wYaHjSkxAFyC0aLHeYT8y2uA1tuHnLcqZ0Fl5V53nx99-DIUE

DS_Starter

Danke für die Info. Das ist sicherlich recht interessant was sich dort tut.
Wir müssen es grundsätzlich schaffen den Login Prozess zu stabilisieren. Auch wenn es bei dem einen oder anderen mit einem neuen User wieder tut, kann es für einen stabilen Betrieb kein Dauerzustand sein immer wieder neue User ins Spiel zu bringen.
Die bisherigen Massnahmen haben nach den aktuellen Erkenntnissen keinen Durchbruch an dieser Stelle gebracht, leider.
Mal schauen ob mir noch etwas dazu einfällt. Da es bei mir im Moment überhaupt nicht mehr funktioniert ist es im Prinzip eine hilfreiche Situation. Denn falls ich jetzt eine Lösung finden sollte, hat die vermutlich Potential dauerhafter zu halten.
Die Hoffnung stirbt zuletzt  ;)

LG
Proxmox+Debian+MariaDB, PV: SMA, Victron MPII+Pylontech+CerboGX
Maintainer: SSCam, SSChatBot, SSCal, SSFile, DbLog/DbRep, Log2Syslog, SolarForecast,Watches, Dashboard, PylonLowVoltage
Kaffeekasse: https://www.paypal.me/HMaaz
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/DS_Starter

ClausL

Hallo, DS_Starter

entschuldige bitte, dass ich gestern nicht mehr geantwortet habe. Ich habe den Computer ausgeschaltet, nachdem ich feststellen konnte, dass es wieder läuft. Ich bin eben schon etwas "älter" und daher nicht mehr die ganze Nacht am Computer ;-).

Zu Deiner Frage

Zitat von: DS_Starter am 02 Dezember 2020, 21:41:38
Welchen userAgent verwendest du ?

Reading usedUserAgent

Den Useragent habe ich manuell eingeben:

Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:83.0) Gecko/20100101 Firefox/83.0

Hinsichtlich der Anmeldeprobleme im Browser hat bei mir das Löschen der Cookies geholfen. Das mache ich inzwischen fast automtisch bei Webseiten, die Probleme verursachen. Kommt zwar selten vor, aber hilft oft.

Viele Grüße, Claus

ClausL

Hallo,

muss mich selbst berichtigen. Auch mit dem neuen User geht es nicht mehr. Einloggen im Browser ging eben auch nicht. Cookies löschen hat diesmal nicht geholfen. Wenn der User Anlagenadministrator wird, geht einloggen im Browser.

Ich werde jetzt einfach mal abwarten. Evtl. löst sich das Problem ja, wenn SMA fertig ist.

Viele Grüße, Claus