Autor Thema: Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)  (Gelesen 15763 mal)

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 405
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #75 am: 08 April 2017, 09:37:20 »
Hallo Markus,

und das ist aktuell nach Neustart:

2017.04.08 09:06:46 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491597000,1491635206             
2017.04.08 09:06:46 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW015&group[]=pollutant&range[]=1491633000,1491635206               
2017.04.08 09:06:46 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491633000,1491635206           
2017.04.08 09:06:46 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491618600,1491635206             
2017.04.08 09:06:46 3: Getting ODL data with login from URL: http://odlinfo.bfs.de/daten/json/055620080ct.json                                                                                                             
2017.04.08 09:06:46 2: Received 0 values for radiation
   

STATE =  9 µg/m³               


Und nach einem get data:

2017.04.08 09:32:51 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491597000,1491636771             
2017.04.08 09:32:51 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW015&group[]=pollutant&range[]=1491633000,1491636771               
2017.04.08 09:32:51 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491633000,1491636771           
2017.04.08 09:32:51 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491618600,1491636771             
2017.04.08 09:32:51 3: Getting ODL data with login from URL: http://odlinfo.bfs.de/daten/json/055620080ct.json                                                                                                             
2017.04.08 09:32:52 2: Received 0 values for radiation
 

STATE = 10 µg/m³


Dann scheint es ja zu laufen  :)

MfG                                                                                                                                                                                                                                                                                                             
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 16.04.1, VCCU (HM-CFG-LAN, HM-CFG-USB2, HMUARTLGW), versch. HM-Gäräte, LaCrosse GW 868 mit CUL 868, DE ConBee II, diverse Sensoren und Aktoren.

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 6811
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #76 am: 08 April 2017, 10:51:08 »
Nochmal, aus gegebenem Anlass: Die ODL-Daten bekommt man natürlich mit http://<user>:<password>@odlinfo.bfs.de/daten/json/<stationid>.json

Mit HTTPMOD ist das dann ein Dreizeiler - keine Notwendigkeit für ein externes wget.

Aber: Die Nutzungsbedingungen besagen ganz klar, dass es sich um eine individuelle Lizensierung handelt, und dass bestimmte Einschränkungen gelten.

Die Weitergabe der Daten an Dritte, oder so etwas wie das "Ausleihen von Zugängen", sind ganz klare Verstöße gegen diese Nutzungsbedingungen. Und wer so etwa hier diskutiert, oder das Forum (und sei es per PM) für den Austausch solcher Daten nutzt, gefährdet nicht nur den Ruf der ganzen Community, sondern auch den Status des Vereins.

Über den Sinn und Unsinn der Nutzungsbedingungen sollte man mit dem BfS verhandeln - aber vorerst sind sie einzuhalten.

LG

pah
« Letzte Änderung: 08 April 2017, 10:56:23 von Prof. Dr. Peter Henning »

Offline Dr. Boris Neubert

  • Global Moderator
  • Hero Member
  • ****
  • Beiträge: 4527
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #77 am: 08 April 2017, 11:01:40 »
Das Modul ist aus dem ersten Beitrag entfernt und dieses Thema ist bis auf weiteres geschlossen.

Es wird erst wieder geöffnet, wenn eine neue Modulversion veröffentlicht wird, die ausschließlich den vom BfS zulässigen Weg über eine Registrierung unterstützt.
Globaler Moderator, Developer, aktives Mitglied des FHEM e.V. (Marketing, Verwaltung)
Bitte keine unaufgeforderten privaten Nachrichten!
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline Dr. Boris Neubert

  • Global Moderator
  • Hero Member
  • ****
  • Beiträge: 4527
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #78 am: 09 April 2017, 10:02:22 »
Nach Klärung mit dem Modulautor Thema nun wieder geöffnet.
Globaler Moderator, Developer, aktives Mitglied des FHEM e.V. (Marketing, Verwaltung)
Bitte keine unaufgeforderten privaten Nachrichten!

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 2737
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #79 am: 09 April 2017, 12:08:15 »
Das Modul unterstützt nun den Datenabruf der Strahlungsdaten mit einem persönlichen Zugang.
Das entsprechende Attribut wird dabei verschlüsselt abgelegt.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0
Gefällt mir Gefällt mir x 2 Liste anzeigen

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 405
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #80 am: 09 April 2017, 14:34:37 »
Rennt. Danke!
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 16.04.1, VCCU (HM-CFG-LAN, HM-CFG-USB2, HMUARTLGW), versch. HM-Gäräte, LaCrosse GW 868 mit CUL 868, DE ConBee II, diverse Sensoren und Aktoren.

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 6811
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #81 am: 09 April 2017, 17:10:25 »
Gut, so ist es ok.

Erstens muss man das BfS an dieser Stelle verstehen - zu viele Ideologen nutzen seriöse Daten, um ihr eigenes Süppchen zu kochen. Als ausgewiesenem Kernphysiker dreht sich mir dabei jedes Mal der Magen um.

Zweitens werde ich mal mit dem Zuständigen telefonieren - eventuell kann man das, bei größerem Interesse, etwas lockern.

LG

pah


Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 2737
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #82 am: 10 April 2017, 20:34:55 »
Gut, so ist es ok.
Erstens muss man das BfS an dieser Stelle verstehen - zu viele Ideologen nutzen seriöse Daten, um ihr eigenes Süppchen zu kochen. Als ausgewiesenem Kernphysiker dreht sich mir dabei jedes Mal der Magen um.
Zweitens werde ich mal mit dem Zuständigen telefonieren - eventuell kann man das, bei größerem Interesse, etwas lockern.
Hallo pah

Gerne, eine Lockerung ist aber eigentlich gar nicht nötig.
Wenn dein erster Einwand wirklich ein so großes Problem darstellt, sollten die Nutzungsbedingungen für den Zugang eher noch erweitert werden was §14 UrhG bzw. ein explizites Rückrufsrecht angeht.

Das Modul ist mittlerweile ja nur mit Zugang nutzbar und mangels eigenem Interesse werde ich auch keinen großen Aufwand mehr reinstecken.
Ich habe für die Daten keinen Einsatzzweck und auch kein umfassendes Verständnis von der Materie.


Ich werde an dieser Stelle aber nochmals versuchen, detailliert den genauen rechtlichen Hintergrund der vorherigen Version zu erläutern, da ich mir das weder aus den Fingern gesaugt habe noch blauäugig einfach die rechtlichen Rahmenbedingungen ignoriere:

-> Die Nutzungsbedingungen für die (mit Passwort geschützte) Schnittstelle stehen auf der Webseite.
-> Wenn jemand einen Zugang beantragt, stimmt er ihnen durch konkludentes Handeln zu, selbst wenn es nicht mehr ausdrücklich in der Mail steht.
-> Tut jemand das nicht, haben sie mangels ausdrücklicher Zustimmung allerdings keinerlei verbindliche Rechtswirkung in Bezug auf die auf der Seite frei zugängliche Daten (ähnlich Schutzfolienverträge, siehe auch OLG Frankfurt Az. 6 U 221/09), wozu auch die vom Browser angezeigten JSON Dateien gehören.

-> Die Daten auf der BfS Seite stellen eine Datenbank dar, die vom Urheberrecht (§87a UrhG) geschützt ist, was auf der Seite durch die Hinweise auf das Urheberrecht auch gesondert betont wird.
-> Damit leitet sich dann aus §53 UrhG ab, dass die Vervielfältigung zum eigenen wissenschaftlichen Gebrauch, aber dabei explizit nur zu nicht gewerblichen Zwecken zulässig ist.
-> Diese Rechte nimmt jeder einzelne Nutzer der das Modul so nutzen würde individuell wahr, die Bereitstellung des Moduls selbst (das ohne Interaktion des Nutzers erst mal nichts tut) im Rahmen eines Open Source Projekts ist unbedenklich (oder zumindest nicht ansatzweise geklärt).
-> Mögliche Verstöße im Bezug auf das Urheberrecht oder Nutzungsvereinbarungen (sofern rechtswirksam) sind in jedem Fall eine Sache zwischen dem Nutzer und dem Urheber/Lizenzgeber.

Es gibt zahlreiche Urteile zu Screen Scraping in Bezug auf eBay und Flugbuchungsseiten und auch einen ziemlich bizarren Weg wie sich Ryanair auf europäischer Ebene dagegen gewehrt hat, bei Interesse einfach mal Google anwerfen.


Die Kurzfassung davon jedenfalls:
Alles was im Web offiziell frei zugänglich ist und urheberrechtlich geschützt ist, darfst du zu privaten wissenschaftlichen Zwecken ohne kommerziellen Faktor (sehe ich bei FHEM gegeben) downloaden und speichern solange du nicht anderslautenden Nutzungsbestimmungen explizit zugestimmt hast.
Bis zu dem Punkt an dem ich angefangen habe, den geschützten Bereich einzubauen, war zumindest das Modul selbst also noch völlig in Ordnung.
Das Posten von reinen Debug Ausgaben mit Rohdaten hier im Forum ist es allerdings leider (auch jetzt) nicht, egal ob mit oder ohne Zugang!


Ich hoffe das hilft dir, die durchaus komplexe rechtliche Thematik etwas besser zu verstehen.

Viele Grüße,
Markus
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 6811
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #83 am: 11 April 2017, 16:12:45 »
Lieber Markus,

ich würde mich nicht scheuen, in den Wettbewerb eintreten, wer sich da besser auskennt. Erstens muss ich das schon aus beruflichen Gründen, und zweitens habe ich auch auf der politischen Ebene Einiges damit zu tun.

Aber, Schwamm drüber: So, wie es jetzt ist, kann man es lassen.

LG

pah

Offline jnewton957

  • Full Member
  • ***
  • Beiträge: 332
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #84 am: 28 April 2017, 06:26:54 »
Hallo Markus,

ich habe seit einigen Tagen folgende Fehlermeldung im Log:

2017.04.27 23:09:55 3: Received 1 values for O3 from after 2017-04-27 21:30:00
malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "(end of string)") at ./FHEM/60_airquality.pm line 645.

Damit stürzt sogar das gesamte FHEM ab und ist offline

Fhem ist auf 5.8, aktuelles $Id: 60_airquality.pm 00000 2017-03-08 $$$

Grüße
Jörg

Was könnte es sein bzw. welche weiteren Infos werden benötigt?
FHEM5.8 auf Pi3
V 1.65 nanoCUL433 (IT)
nanoCUL JeeLink
V 1.66 nanoCUL868 (HM) (ESA2000WZ)
xELRO AB440, xDECT200, PCA301, xTFA30.3125, esp8266, HM, TabletUI, IR-Schreiblesekopf (Udo)

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 2737
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #85 am: 28 April 2017, 08:29:27 »
Was könnte es sein bzw. welche weiteren Infos werden benötigt?

Setz das Device mal auf Verbose 5 und poste was vor dem Crash ankommt.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

Offline jnewton957

  • Full Member
  • ***
  • Beiträge: 332
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #86 am: 07 Mai 2017, 17:08:00 »
Setz das Device mal auf Verbose 5 und poste was vor dem Crash ankommt.

Hallo,

ich hatte ja das Modul aus der fhem.cfg nicht mehr geladen. Seitdem (also 10 Tage) hatte ich keinen Absturz mehr.

Heute habe ich es zum Test wieder mit include eingefügt. Und siehe da. Nach ca. 1 Stunde der Absturz.

Letzter Logeintrag vor dem Restart

2017.05.07 12:02:09 2: Getting CO data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=CO&scope[]=8SMW&station[]=DERP024&group[]=pollutant&range[]=1494149400,1494151329
2017.05.07 12:02:09 2: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW062&group[]=pollutant&range[]=1494145800,1494151329
2017.05.07 12:02:09 2: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1494145800,1494151329
2017.05.07 12:02:09 2: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW062&group[]=pollutant&range[]=1494145800,1494151329
2017.05.07 12:02:09 2: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1494145800,1494151329
malformed JSON string, neither array, object, number, string or atom, at character offset 0 (before "(end of string)") at ./FHEM/60_airquality.pm line 645.
2017.05.07 12:02:12 1: BlockingInformParent (BlockingStart): Can't connect to localhost:7073: IO::Socket::INET: connect: Connection refused
2017.05.07 12:02:25 1: BlockingInformParent (PRESENCE_ProcessLocalScan): Can't connect to localhost:7073: IO::Socket::INET: connect: Connection refused

Grüße
Jörg
FHEM5.8 auf Pi3
V 1.65 nanoCUL433 (IT)
nanoCUL JeeLink
V 1.66 nanoCUL868 (HM) (ESA2000WZ)
xELRO AB440, xDECT200, PCA301, xTFA30.3125, esp8266, HM, TabletUI, IR-Schreiblesekopf (Udo)

Offline Frank_Huber

  • Hero Member
  • *****
  • Beiträge: 3392
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #87 am: 07 Mai 2017, 17:14:54 »
Gelöscht. Versehentlich in falschem thread gepostet.
« Letzte Änderung: 07 Mai 2017, 21:16:00 von Frank_Huber »

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 2737
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #88 am: 08 Mai 2017, 12:43:51 »
Jörg, kannst du das noch mal mit Verbose 5 reproduzieren?
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

Offline jnewton957

  • Full Member
  • ***
  • Beiträge: 332
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #89 am: 19 Mai 2017, 19:29:43 »
Jörg, kannst du das noch mal mit Verbose 5 reproduzieren?

Hallo Markus,

seit dem letzten update habe ich KEINE Abstürze mehr. Das neue Modul scheint zu funktionieren.

VIELEN VIELEN Dank

Jörg
FHEM5.8 auf Pi3
V 1.65 nanoCUL433 (IT)
nanoCUL JeeLink
V 1.66 nanoCUL868 (HM) (ESA2000WZ)
xELRO AB440, xDECT200, PCA301, xTFA30.3125, esp8266, HM, TabletUI, IR-Schreiblesekopf (Udo)

 

decade-submarginal