ODL (Radioaktivität in Deutschland) Webservice

Begonnen von Florian_GT, 12 März 2017, 00:21:52

Vorheriges Thema - Nächstes Thema

Florian_GT

Hi,

ich habe mir mal die Webseite https://odlinfo.bfs.de/DE/index.html angesehen, wo und wie man dort Daten für FHEM extrahieren könnte.

Die Stammdaten, welche Stationen wo stehen, ist hier zu finden: https://odlinfo.bfs.de/jsonXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX/stamm.json
Die Daten der jeweligen Station können mittels StationID abgerufen werden: https://odlinfo.bfs.de/jsonXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX.json

Die Daten werden stündlich aktualisiert.

Mein Ziel wäre, die Daten stündlich dann per Web, Json zu laden und in FHEM zu übertragen. Dabei sollte dann auch geprüft werden, ob die Daten aktuell sind.

Wer mitmachen möchte, los gehts!
FHEM: Proxmox Server, FHEM in VM, pgSQL DB
Hardware: Ethersex (Pollin NETIO Boards), Diverse Tasmota MQTT Devices, Raspberry Pi Zero W Kameras, (Github RaspberryPiStreamingCamera), Zigbee2MQTT, ESPEasy

Development: UBA (Umwelt Bundesamt), BFS (Bundesamt für Strahlenschutz)

Prof. Dr. Peter Henning

Das ist mit HTTPMOD ganz trivial und innerhalb von 15 Minuten erledigt.

Allerdings ist es nicht statthaft, den API-Schlüssel an Dritte weiter zu geben, so wie in den Links im vorigen Post geschehen. Das ist ein Verstoß gegen die Nutzungsbedingungen des BFS.

LG

pah

Markus M.

Zitat von: Prof. Dr. Peter Henning am 12 März 2017, 03:10:30
Allerdings ist es nicht statthaft, den API-Schlüssel an Dritte weiter zu geben, so wie in den Links im vorigen Post geschehen. Das ist ein Verstoß gegen die Nutzungsbedingungen des BFS.

Die er aber nicht notgedrungen akzeptiert hat und die hier auch gar nicht zutreffen, sofern es sich nicht um seinen eigenen, sondern den frei zugänglichen Schlüssel der BfS Seite handelt.
Dass jeder Nutzer bei allen Daten in seiner FHEM Installation immer noch das UrhG beachten sollte, ist sowieso klar.

Daten demnächst hier drin: https://forum.fhem.de/index.php?topic=68623.html
Aktuell weder Smarthome noch FHEM vorhanden

Prof. Dr. Peter Henning

#3
Das ist aber ein komisches Rechtsverständnis...

Es handelt sich nämlich nicht um einen frei zugänglicen Schlüssel, und das BfS verlangt eindeutig eine persönliche Registrierung für jeden Nutzer. Das ist auch sinnvoll, weil das Bestandteil der Jahresberichte des BfS ist - nur bei großem öffentlichen Interesse ist auch die Finanzierung eines solchen Dienstes gesichert.

ZitatDaten demnächst hier drin:

Kann man machen. Man kann aber auch - und so läuft das bei mir seit Jahr und Tag - Folgendes benutzen (082151021 ist die Stationsnummer Eggenstein-Leopoldshafen, genauer aber KIT Campus Nord)


define ODL HTTPMOD https://odlinfo.bfs.de/json<KEY>/082151021.json 3600
attr ODL userattr reading01JSON reading01Name reading02JSON reading02Name
attr ODL reading01JSON stamm_mw
attr ODL reading01Name dose
attr ODL reading02JSON stamm_status
attr ODL reading02Name online
attr ODL room Wetter
attr ODL stateFormat dose µSv/h


LG

pah

Markus M.

Zitat von: Prof. Dr. Peter Henning am 12 März 2017, 11:39:15
Das ist aber ein komisches Rechtsverständnis...
Es handelt sich nämlich nicht um einen frei zugänglicen Schlüssel, und das BfS verlangt eindeutig eine persönliche Registrierung für jeden Nutzer.

Woraus leitest du das mit der Registrierung ab?
Der Schlüssel findet sich im Quellcode der öffentlich zugänglichen Seite und ist Teil der ohne Registrierung aufrufbaren Links.
Und "Mit der reinen Nutzung dieser Seiten kommt keinerlei Vertragsverhältnis zwischen dem BfS und dem Nutzer zustande."
Aktuell weder Smarthome noch FHEM vorhanden


Florian_GT

#6
Hallo zusammen,

die oben genannten Links habe ich alle von der Öffentlichen Webseite, NICHT dem registrierten Bereich. Warum soll ich mich auch registrieren, wenn die gewünschten Daten auch ohne abgerufen werden?
Ich habe somit keine AGB angenommen, und auch gegen keine AGB verstoßen. Mal davon abgesehen, wir sind doch eine nette Community, wenn das BFS ein Problem mit der offenlegung der Dateien, die auf der eh öffentlichen Webseite abgerufden werden, können Sie sich bei mir melden, könnte da auch gerne ein Varnish Proxy dazwischen aufsetzen, wenn der Traffic stört.

Ich rufe ja mit der Normalen Webseite die beiden json Dateien auf, das tut halt jetzt mein "FHEM Browser" xDxD. Warum sollte es da ärger geben? Wenn Sie wollen, dass es nicht gefunden wird, müssen sie es besser verstecken ;)
FHEM: Proxmox Server, FHEM in VM, pgSQL DB
Hardware: Ethersex (Pollin NETIO Boards), Diverse Tasmota MQTT Devices, Raspberry Pi Zero W Kameras, (Github RaspberryPiStreamingCamera), Zigbee2MQTT, ESPEasy

Development: UBA (Umwelt Bundesamt), BFS (Bundesamt für Strahlenschutz)

Florian_GT

Zitat von: afloria am 13 März 2017, 22:27:43
Hallo zusammen,

die oben genannten Links habe ich alle von der Öffentlichen Webseite, NICHT dem registrierten Bereich. Warum soll ich mich auch registrieren, wenn die gewünschten Daten auch ohne abgerufen werden?
Ich habe somit keine AGB angenommen, und auch gegen keine AGB verstoßen. Mal davon abgesehen, wir sind doch eine nette Community, wenn das BFS ein Problem mit der offenlegung der Dateien, die auf der eh öffentlichen Webseite abgerufden werden, können Sie sich bei mir melden, könnte da auch gerne ein Varnish Proxy dazwischen aufsetzen, wenn der Traffic stört.

Ich rufe ja mit der Normalen Webseite die beiden json Dateien auf, das tut halt jetzt mein "FHEM Browser" xDxD. Warum sollte es da ärger geben? Wenn Sie wollen, dass es nicht gefunden wird, müssen sie es besser verstecken ;)

Habe übrigens gerade bemerkt, dass die URL, aus dem Public Bereich scheinbar geändert worden ist. Vermutlich wird das jeden Tag standardmäßig gemacht. Somit kann man festhalten, dass man sich am besten doch registriert.
FHEM: Proxmox Server, FHEM in VM, pgSQL DB
Hardware: Ethersex (Pollin NETIO Boards), Diverse Tasmota MQTT Devices, Raspberry Pi Zero W Kameras, (Github RaspberryPiStreamingCamera), Zigbee2MQTT, ESPEasy

Development: UBA (Umwelt Bundesamt), BFS (Bundesamt für Strahlenschutz)

Prof. Dr. Peter Henning

ZitatWenn Sie wollen, dass es nicht gefunden wird, müssen sie es besser verstecken
::)
Zitatdas tut halt jetzt mein "FHEM Browser" xDxD
::)
Es besteht ein himmelweiter Unterschied zwischen dem Ansehen zu Demonstrationszwecken und der Speicherung/Weiterverarbeitung von Daten. Wer diese elementaren Dinge nicht begreift, sollte sich besser ganz aus dem Netz heraushalten.

pah

Markus M.

Zitat von: Prof. Dr. Peter Henning am 14 März 2017, 02:39:42Es besteht ein himmelweiter Unterschied zwischen dem Ansehen zu Demonstrationszwecken und der Speicherung/Weiterverarbeitung von Daten.

Eigentlich hängt es hauptsächlich  davon ab was man anschließend mit diesen Daten tut.
Was mich nach den Posts über dir aber tatsächlich dazu gebracht hat, noch einen Disclaimer in die Modulhilfe zu packen :)
Als Modulautor gehe ich aber selbstverständlich immer erst mal davon aus, dass FHEM lediglich für private wissenschaftliche Zwecke betrieben wird.
Aktuell weder Smarthome noch FHEM vorhanden

Florian_GT

Zitat von: Markus M. am 14 März 2017, 14:45:09
Eigentlich hängt es hauptsächlich  davon ab was man anschließend mit diesen Daten tut.
Was mich nach den Posts über dir aber tatsächlich dazu gebracht hat, noch einen Disclaimer in die Modulhilfe zu packen :)
Als Modulautor gehe ich aber selbstverständlich immer erst mal davon aus, dass FHEM lediglich für private wissenschaftliche Zwecke betrieben wird.

Ich wüsste auch nicht, was man sonst damit machen sollte als sie Privat zu nutzen...
FHEM: Proxmox Server, FHEM in VM, pgSQL DB
Hardware: Ethersex (Pollin NETIO Boards), Diverse Tasmota MQTT Devices, Raspberry Pi Zero W Kameras, (Github RaspberryPiStreamingCamera), Zigbee2MQTT, ESPEasy

Development: UBA (Umwelt Bundesamt), BFS (Bundesamt für Strahlenschutz)

CQuadrat

Hallo Zusammen,

ich habe mir vom BfS eine Nutzerkennung und Passwort zuteilen lassen.
Mein Problem jetzt: woher bekomme ich den API-Key?


Danke und Gruß

Christoph
FHEM auf Mini-ITX-Server mit Intel Quad-Core J1900:
+ HM: HM-LAN, HM-USB, HM-MOD-UART mit div. HM-Komponenten
+ RFXtrx: Funkwetterstation Bresser mit ext. Thermometer, Regenmesser und Windmesser
+ TUL (KNX-Anbindung), MQTT, SONOS (div. Gimmicks), OneWire, Hue

Markus M.

Zitat von: CQuadrat am 22 März 2017, 12:43:43
Mein Problem jetzt: woher bekomme ich den API-Key?

Keine Ahnung. Wo kannst du dich damit denn einloggen?
Du musst dann auch noch kurz warten bis ich den fixen Key im Modul vorgesehen habe...
Aktuell weder Smarthome noch FHEM vorhanden

CQuadrat

FHEM auf Mini-ITX-Server mit Intel Quad-Core J1900:
+ HM: HM-LAN, HM-USB, HM-MOD-UART mit div. HM-Komponenten
+ RFXtrx: Funkwetterstation Bresser mit ext. Thermometer, Regenmesser und Windmesser
+ TUL (KNX-Anbindung), MQTT, SONOS (div. Gimmicks), OneWire, Hue

Markus M.

Zitat von: CQuadrat am 22 März 2017, 22:13:40
hier: http://odlinfo.bfs.de/daten

Und bekommst du dort irgendwo deinen Key angezeigt?
Falls ja, kannst du ihn im Modul jetzt als Attribut (apiKeyODL) angeben.
Aktuell weder Smarthome noch FHEM vorhanden