Umweltbundesamt Luftdaten (60_airquality.pm) Ersetzt durch 60_uba.pm & 60_bfs.pm

Begonnen von Markus M., 07 März 2017, 19:31:30

Vorheriges Thema - Nächstes Thema

Ralf W.

Hallo Markus,

und das ist aktuell nach Neustart:

2017.04.08 09:06:46 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491597000,1491635206             
2017.04.08 09:06:46 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW015&group[]=pollutant&range[]=1491633000,1491635206               
2017.04.08 09:06:46 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491633000,1491635206           
2017.04.08 09:06:46 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491618600,1491635206             
2017.04.08 09:06:46 3: Getting ODL data with login from URL: http://odlinfo.bfs.de/daten/json/055620080ct.json                                                                                                             
2017.04.08 09:06:46 2: Received 0 values for radiation
   

STATE =  9 µg/m³               


Und nach einem get data:

2017.04.08 09:32:51 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491597000,1491636771             
2017.04.08 09:32:51 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW015&group[]=pollutant&range[]=1491633000,1491636771               
2017.04.08 09:32:51 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491633000,1491636771           
2017.04.08 09:32:51 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491618600,1491636771             
2017.04.08 09:32:51 3: Getting ODL data with login from URL: http://odlinfo.bfs.de/daten/json/055620080ct.json                                                                                                             
2017.04.08 09:32:52 2: Received 0 values for radiation
 

STATE = 10 µg/m³


Dann scheint es ja zu laufen  :)

MfG                                                                                                                                                                                                                                                                                                             
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: NUC7PJYH2, Ubuntu Server 22.04.2 LTS, HMCCU - RaspberryMatic, DE ConBee II, diverse Sensoren und Aktoren.

Prof. Dr. Peter Henning

#76
Nochmal, aus gegebenem Anlass: Die ODL-Daten bekommt man natürlich mit http://<user>:<password>@odlinfo.bfs.de/daten/json/<stationid>.json

Mit HTTPMOD ist das dann ein Dreizeiler - keine Notwendigkeit für ein externes wget.

Aber: Die Nutzungsbedingungen besagen ganz klar, dass es sich um eine individuelle Lizensierung handelt, und dass bestimmte Einschränkungen gelten.

Die Weitergabe der Daten an Dritte, oder so etwas wie das "Ausleihen von Zugängen", sind ganz klare Verstöße gegen diese Nutzungsbedingungen. Und wer so etwa hier diskutiert, oder das Forum (und sei es per PM) für den Austausch solcher Daten nutzt, gefährdet nicht nur den Ruf der ganzen Community, sondern auch den Status des Vereins.

Über den Sinn und Unsinn der Nutzungsbedingungen sollte man mit dem BfS verhandeln - aber vorerst sind sie einzuhalten.

LG

pah

Dr. Boris Neubert

Das Modul ist aus dem ersten Beitrag entfernt und dieses Thema ist bis auf weiteres geschlossen.

Es wird erst wieder geöffnet, wenn eine neue Modulversion veröffentlicht wird, die ausschließlich den vom BfS zulässigen Weg über eine Registrierung unterstützt.
Globaler Moderator, Developer, aktives Mitglied des FHEM e.V. (Marketing, Verwaltung)
Bitte keine unaufgeforderten privaten Nachrichten!

Dr. Boris Neubert

Nach Klärung mit dem Modulautor Thema nun wieder geöffnet.
Globaler Moderator, Developer, aktives Mitglied des FHEM e.V. (Marketing, Verwaltung)
Bitte keine unaufgeforderten privaten Nachrichten!

Markus M.

Das Modul unterstützt nun den Datenabruf der Strahlungsdaten mit einem persönlichen Zugang.
Das entsprechende Attribut wird dabei verschlüsselt abgelegt.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

Ralf W.

http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: NUC7PJYH2, Ubuntu Server 22.04.2 LTS, HMCCU - RaspberryMatic, DE ConBee II, diverse Sensoren und Aktoren.

Prof. Dr. Peter Henning

Gut, so ist es ok.

Erstens muss man das BfS an dieser Stelle verstehen - zu viele Ideologen nutzen seriöse Daten, um ihr eigenes Süppchen zu kochen. Als ausgewiesenem Kernphysiker dreht sich mir dabei jedes Mal der Magen um.

Zweitens werde ich mal mit dem Zuständigen telefonieren - eventuell kann man das, bei größerem Interesse, etwas lockern.

LG

pah


Markus M.

Zitat von: Prof. Dr. Peter Henning am 09 April 2017, 17:10:25
Gut, so ist es ok.
Erstens muss man das BfS an dieser Stelle verstehen - zu viele Ideologen nutzen seriöse Daten, um ihr eigenes Süppchen zu kochen. Als ausgewiesenem Kernphysiker dreht sich mir dabei jedes Mal der Magen um.
Zweitens werde ich mal mit dem Zuständigen telefonieren - eventuell kann man das, bei größerem Interesse, etwas lockern.
Hallo pah

Gerne, eine Lockerung ist aber eigentlich gar nicht nötig.
Wenn dein erster Einwand wirklich ein so großes Problem darstellt, sollten die Nutzungsbedingungen für den Zugang eher noch erweitert werden was §14 UrhG bzw. ein explizites Rückrufsrecht angeht.

Das Modul ist mittlerweile ja nur mit Zugang nutzbar und mangels eigenem Interesse werde ich auch keinen großen Aufwand mehr reinstecken.
Ich habe für die Daten keinen Einsatzzweck und auch kein umfassendes Verständnis von der Materie.


Ich werde an dieser Stelle aber nochmals versuchen, detailliert den genauen rechtlichen Hintergrund der vorherigen Version zu erläutern, da ich mir das weder aus den Fingern gesaugt habe noch blauäugig einfach die rechtlichen Rahmenbedingungen ignoriere:

-> Die Nutzungsbedingungen für die (mit Passwort geschützte) Schnittstelle stehen auf der Webseite.
-> Wenn jemand einen Zugang beantragt, stimmt er ihnen durch konkludentes Handeln zu, selbst wenn es nicht mehr ausdrücklich in der Mail steht.
-> Tut jemand das nicht, haben sie mangels ausdrücklicher Zustimmung allerdings keinerlei verbindliche Rechtswirkung in Bezug auf die auf der Seite frei zugängliche Daten (ähnlich Schutzfolienverträge, siehe auch OLG Frankfurt Az. 6 U 221/09), wozu auch die vom Browser angezeigten JSON Dateien gehören.

-> Die Daten auf der BfS Seite stellen eine Datenbank dar, die vom Urheberrecht (§87a UrhG) geschützt ist, was auf der Seite durch die Hinweise auf das Urheberrecht auch gesondert betont wird.
-> Damit leitet sich dann aus §53 UrhG ab, dass die Vervielfältigung zum eigenen wissenschaftlichen Gebrauch, aber dabei explizit nur zu nicht gewerblichen Zwecken zulässig ist.
-> Diese Rechte nimmt jeder einzelne Nutzer der das Modul so nutzen würde individuell wahr, die Bereitstellung des Moduls selbst (das ohne Interaktion des Nutzers erst mal nichts tut) im Rahmen eines Open Source Projekts ist unbedenklich (oder zumindest nicht ansatzweise geklärt).
-> Mögliche Verstöße im Bezug auf das Urheberrecht oder Nutzungsvereinbarungen (sofern rechtswirksam) sind in jedem Fall eine Sache zwischen dem Nutzer und dem Urheber/Lizenzgeber.

Es gibt zahlreiche Urteile zu Screen Scraping in Bezug auf eBay und Flugbuchungsseiten und auch einen ziemlich bizarren Weg wie sich Ryanair auf europäischer Ebene dagegen gewehrt hat, bei Interesse einfach mal Google anwerfen.


Die Kurzfassung davon jedenfalls:
Alles was im Web offiziell frei zugänglich ist und urheberrechtlich geschützt ist, darfst du zu privaten wissenschaftlichen Zwecken ohne kommerziellen Faktor (sehe ich bei FHEM gegeben) downloaden und speichern solange du nicht anderslautenden Nutzungsbestimmungen explizit zugestimmt hast.
Bis zu dem Punkt an dem ich angefangen habe, den geschützten Bereich einzubauen, war zumindest das Modul selbst also noch völlig in Ordnung.
Das Posten von reinen Debug Ausgaben mit Rohdaten hier im Forum ist es allerdings leider (auch jetzt) nicht, egal ob mit oder ohne Zugang!


Ich hoffe das hilft dir, die durchaus komplexe rechtliche Thematik etwas besser zu verstehen.

Viele Grüße,
Markus
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

Prof. Dr. Peter Henning

Lieber Markus,

ich würde mich nicht scheuen, in den Wettbewerb eintreten, wer sich da besser auskennt. Erstens muss ich das schon aus beruflichen Gründen, und zweitens habe ich auch auf der politischen Ebene Einiges damit zu tun.

Aber, Schwamm drüber: So, wie es jetzt ist, kann man es lassen.

LG

pah

jnewton957

Hallo Markus,

ich habe seit einigen Tagen folgende Fehlermeldung im Log:

2017.04.27 23:09:55 3: Received 1 values for O3 from after 2017-04-27 21:30:00
malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "(end of string)") at ./FHEM/60_airquality.pm line 645.


Damit stürzt sogar das gesamte FHEM ab und ist offline

Fhem ist auf 5.8, aktuelles $Id: 60_airquality.pm 00000 2017-03-08 $$$

Grüße
Jörg

Was könnte es sein bzw. welche weiteren Infos werden benötigt?
FHEM6.2 auf Pi5
V 1.66 nanoCUL 433 (IT)
V 1.66 nanoCUL868 (HM)
sqlite3 LogDb
ELRO AB440, DECT200,  TFA30.3125, esp8266, HM, TabletUI, IR-Schreiblesekopf (Udo),tibber Pulse, Kostal Pico, cfos Wallbox, Modbus TCP

Markus M.

Zitat von: jnewton957 am 28 April 2017, 06:26:54
Was könnte es sein bzw. welche weiteren Infos werden benötigt?

Setz das Device mal auf Verbose 5 und poste was vor dem Crash ankommt.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

jnewton957

Zitat von: Markus M. am 28 April 2017, 08:29:27
Setz das Device mal auf Verbose 5 und poste was vor dem Crash ankommt.

Hallo,

ich hatte ja das Modul aus der fhem.cfg nicht mehr geladen. Seitdem (also 10 Tage) hatte ich keinen Absturz mehr.

Heute habe ich es zum Test wieder mit include eingefügt. Und siehe da. Nach ca. 1 Stunde der Absturz.

Letzter Logeintrag vor dem Restart

2017.05.07 12:02:09 2: Getting CO data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=CO&scope[]=8SMW&station[]=DERP024&group[]=pollutant&range[]=1494149400,1494151329
2017.05.07 12:02:09 2: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW062&group[]=pollutant&range[]=1494145800,1494151329
2017.05.07 12:02:09 2: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1494145800,1494151329
2017.05.07 12:02:09 2: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW062&group[]=pollutant&range[]=1494145800,1494151329
2017.05.07 12:02:09 2: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1494145800,1494151329
malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "(end of string)") at ./FHEM/60_airquality.pm line 645.
2017.05.07 12:02:12 1: BlockingInformParent (BlockingStart): Can't connect to localhost:7073: IO::Socket::INET: connect: Connection refused
2017.05.07 12:02:25 1: BlockingInformParent (PRESENCE_ProcessLocalScan): Can't connect to localhost:7073: IO::Socket::INET: connect: Connection refused


Grüße
Jörg
FHEM6.2 auf Pi5
V 1.66 nanoCUL 433 (IT)
V 1.66 nanoCUL868 (HM)
sqlite3 LogDb
ELRO AB440, DECT200,  TFA30.3125, esp8266, HM, TabletUI, IR-Schreiblesekopf (Udo),tibber Pulse, Kostal Pico, cfos Wallbox, Modbus TCP

Frank_Huber

#87
Gelöscht. Versehentlich in falschem thread gepostet.

Markus M.

Jörg, kannst du das noch mal mit Verbose 5 reproduzieren?
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

jnewton957

Zitat von: Markus M. am 08 Mai 2017, 12:43:51
Jörg, kannst du das noch mal mit Verbose 5 reproduzieren?

Hallo Markus,

seit dem letzten update habe ich KEINE Abstürze mehr. Das neue Modul scheint zu funktionieren.

VIELEN VIELEN Dank

Jörg
FHEM6.2 auf Pi5
V 1.66 nanoCUL 433 (IT)
V 1.66 nanoCUL868 (HM)
sqlite3 LogDb
ELRO AB440, DECT200,  TFA30.3125, esp8266, HM, TabletUI, IR-Schreiblesekopf (Udo),tibber Pulse, Kostal Pico, cfos Wallbox, Modbus TCP