Autor Thema: Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)  (Gelesen 3017 mal)

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Ein Modul für aktuelle Luftdaten vom Umweltbundesamt.

Es gibt Werte für Feinstaub PM10, Schwefeldioxid, Ozon, Stickstoffdioxid (1-Stunden-Mittelwert) und Kohlenmonoxid (8-Stunden-Mittelwert).
Eine Liste der Stationen findet ihr hier: http://www.umweltbundesamt.de/daten/luftbelastung/aktuelle-luftdaten#/stations

Definition:
define airquality airquality DEXX123

Da fast keine Station alle Werte misst, gibt es Attribute für zusätzliche Stationen für die einzelnen Schadstoffe.
Mit zusätzlichen Attributen für eine ODL ID und die Zugangskennung können auch Werte für Hintergrundstrahlung empfangen werden.
Den Rest findet ihr in der Modulhilfe.

Danke an jnewton957 für die Idee!


Ich werde das Modul nicht ins SVN einchecken, da die Nutzbarkeit der Daten durch die teilweise lückenhafte und verspätete Bereitstellung stark eingeschränkt ist und ich maximal statistischen Nutzen sehe. Da ich persönlich auch keine Verwendung für die Daten habe, wird das Modul nicht aktiv weiterentwickelt.
« Letzte Änderung: 09 April 2017, 12:58:07 von Markus M. »
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline peterk_de

  • Sr. Member
  • ****
  • Beiträge: 606
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #1 am: 07 März 2017, 19:38:03 »
Jeeeeeeah damit kann ich evtl. meine selbstgebastelten schrottigen HTTPMOD-Anfragen an unseren Landes-Luft-Server ersetzen, DANKE!!
Intel NUC5i5 -> Proxmox -> Ubuntu 16.04 LTS
IOdevs: 2x Homematic, CUL868, HarmonyHub
Frontends: 3x TabletUI Android-Tablets mit AMAD+FullyBrowser, Homebridge/Siri
Aktoren/Sensoren: 86x Homematic, 15x WMBUS/Techem, 7x WiFi, 5x BLE, 2x BT, Geofencing
FHEM2FHEM-Roomnodes: 5x Raspi, 1x Cubietruck

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #2 am: 07 März 2017, 19:42:27 »
Jeeeeeeah damit kann ich evtl. meine selbstgebastelten schrottigen HTTPMOD-Anfragen an unseren Landes-Luft-Server ersetzen, DANKE!!

Gut möglich, sollten die gleichen Daten sein. Vielleicht versteckt sich darin sogar schon die ID
Bitte mal testen und loggen, ob noch irgendwo Fehler drin sind - ich hab das gestern Abend spontan zusammengeschustert :)
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline peterk_de

  • Sr. Member
  • ****
  • Beiträge: 606
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #3 am: 07 März 2017, 19:55:13 »
Funktioniert 1a, auch das Zusammenbasteln aus verschiedenen Stationen. Wunderbar. Die Stations-IDs sind andere.

Leider leitet aber unser Landesnetzwerk nicht alle Daten an das Messnetzwerk vom Bund weiter (PM2,5, Benzol, Globalstrahlung und alle Wetterdaten von den Stationen fehlen). Da ich aber in Sichtweite von so ner Messstation wohne, und die ja Equipment auffahren, was sich ein normalsterblicher privat nicht auf den Balkon hängt, sind das perfekte Wetterdaten für mich - das heißt ein paar HTTMODs müssen bleiben, aber das ist weniger tragisch - die wichtigsten Sachen sind dabei :-)
Intel NUC5i5 -> Proxmox -> Ubuntu 16.04 LTS
IOdevs: 2x Homematic, CUL868, HarmonyHub
Frontends: 3x TabletUI Android-Tablets mit AMAD+FullyBrowser, Homebridge/Siri
Aktoren/Sensoren: 86x Homematic, 15x WMBUS/Techem, 7x WiFi, 5x BLE, 2x BT, Geofencing
FHEM2FHEM-Roomnodes: 5x Raspi, 1x Cubietruck

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #4 am: 07 März 2017, 19:58:29 »
Wenn du irgendwas findest das solche Daten bundesweit bereithält und idealerweise noch per Schnittstelle auslesbar ist, gib mir Bescheid.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline peterk_de

  • Sr. Member
  • ****
  • Beiträge: 606
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #5 am: 07 März 2017, 20:03:00 »
Hatte ich schon nach gesucht - ich fürchte das gibt es nicht, die Mühe wird sich wahrscheinlich einfach niemand machen, wenn es der Bund selbst schon nicht tut.

Hab noch einen "Haken" gefunden: Die Daten hinken gegenüber denen vom Land eine Stunde hinterher. Die Laden das vermutlich manuell per Eingabemaske hoch ^^
Intel NUC5i5 -> Proxmox -> Ubuntu 16.04 LTS
IOdevs: 2x Homematic, CUL868, HarmonyHub
Frontends: 3x TabletUI Android-Tablets mit AMAD+FullyBrowser, Homebridge/Siri
Aktoren/Sensoren: 86x Homematic, 15x WMBUS/Techem, 7x WiFi, 5x BLE, 2x BT, Geofencing
FHEM2FHEM-Roomnodes: 5x Raspi, 1x Cubietruck

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #6 am: 07 März 2017, 20:10:40 »
Vergleich mal ob nicht nur die Stunde nicht passt.
Wenn ich 20 nach 8 einen 1h Mittelwert abrufen dann kann der  von 7 Uhr oder bis 8 Uhr sein. Definitionssache :)

Da ich jeweils von 30 Minuten nach dem letzten erhaltenen Stundenwert bis jetzt über Unix Timestamps anfrage, sollten meine Werte eigentlich fast passen.
Beispiel: Letzter Wert von 19:00, Abfrage-Zeitraum jetzt von 19:30 bis 20:30 - wenn was kommt ist es der Wert von 20 Uhr.
Scheint aber wirklich mit wechselnder Verzögerung zu laufen...
« Letzte Änderung: 07 März 2017, 20:32:10 von Markus M. »
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #7 am: 07 März 2017, 23:26:14 »
Hi Markus,
interessante Idee. Gleich ausprobiert, aber leider
Can't locate object method "new" via package "JSON" (perhaps you forgot to load "JSON"?) at ./FHEM/60_airquality.pm line 632.

Ist ein Rpi mit aktuellem Wheezy. Hab erst gedacht, ich muss noch das libjson-perl installieren(obwohl die Meldung ja etwas anders ist als sonst bei einem fehlenden Perl-Modul).  Hat aber leider auch mit einem reboot nicht geholfen. Sobald der get-Befehl ausgeführt wird, schmiert fhem ab  :(
Muss ich da erst etwas starten/laden, so wie die Fehlermeldung aussagt ?

Grüße Markus
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #8 am: 08 März 2017, 08:45:16 »
Ne, ich muss es dummerweise auch definieren...
Update im ersten Post!
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #9 am: 08 März 2017, 11:39:38 »
Hi Markus,
danke für die Korrektur. Versteh jetzt nur nicht, warum das bei anderen funktionieren konnte  :-\

Ja, und mein fhem zerriss es trotzdem wieder  >:( Diesmal mit: Undefined subroutine &main::Dumper called at ./FHEM/60_airquality.pm line 658. Ist das nur für Dich zum Test oder muss ich was installieren ?

Ich hab die Zeile mal auskommentiert und dann läufts  ;D

Die commandref ist gut verständlich. 2 Anmerkungen: Scheinbar hat die von mir gewählte Station keinen CO-Messwert. Vielleicht müsste man da textlich noch etwas mehr drauf eingehen, dass nicht alle Stationen alle Werte liefern und man über stationWert eine abweichende Station eintragen kann, um einen Wert zu erhalten. Gewöhnungsbedürftig ist sicherlich auch, dass im Gegensatz zum üblichen Verhalten, als timestamp nicht das letzte get, sondern der timestamp der Veröffentlichung der Luftdaten anzeigt wird.

Beides mit ein wenig Hirn und FHEM-Erfahrung leicht durchschaubar, aber newbies...  :-\ Ich sehe schon die Posts mit ".. Bug seit dem letzte Update..." vor meinen Augen  ;D

Danke fürs Modul und Deine Hilfe
Markus
Edit: Ah, und vielleicht noch die Angabe des polling-intervalls.

« Letzte Änderung: 08 März 2017, 11:42:13 von KölnSolar »
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #10 am: 08 März 2017, 11:58:43 »
Hi Markus,
danke für die Korrektur. Versteh jetzt nur nicht, warum das bei anderen funktionieren konnte  :-\

Dein Perl ist zu weinerlich ;)
Hab den Dumper auch noch eingetragen.


Zitat
Die commandref ist gut verständlich. 2 Anmerkungen: Scheinbar hat die von mir gewählte Station keinen CO-Messwert. Vielleicht müsste man da textlich noch etwas mehr drauf eingehen, dass nicht alle Stationen alle Werte liefern und man über stationWert eine abweichende Station eintragen kann, um einen Wert zu erhalten. Gewöhnungsbedürftig ist sicherlich auch, dass im Gegensatz zum üblichen Verhalten, als timestamp nicht das letzte get, sondern der timestamp der Veröffentlichung der Luftdaten anzeigt wird.

Das mit den Stationen steht oben und nochmal in der commandref :)
Timestamps von allen Daten die in irgendwechen externen Quellen mit einem Zeitstempel rumschwirren werden eigentlich immer mit dieser Zeit eingetragen.

Polling ist stündlich. Das werde ich vielleicht noch soweit anpassen dass es immer um XX:30 passiert.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #11 am: 08 März 2017, 12:38:45 »
Zitat
Timestamps von allen Daten die in irgendwechen externen Quellen mit einem Zeitstempel rumschwirren werden eigentlich immer mit dieser Zeit eingetragen.
OK, habe ich nicht. Bin da eher rein event getrieben ;)

Nun fluppts  :-*

RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Frosch

  • New Member
  • *
  • Beiträge: 19
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #12 am: 08 März 2017, 21:36:11 »
Hallo,

super, auf so ein Modul habe ich auch schon lange gewartet. Momentan beziehe ich die Luftqualitätsdaten wie peterk_de per HTTPMOD aus dem Netz. Ich hole mir die Daten nur von hier: https://www.lanuv.nrw.de/fileadmin/lanuv/luft/immissionen/aktluftqual/eu_luft_akt
Wie das dann bei mir aussieht seht ihr im Anhang.

Merkwürdig ist, dass ich über das Modul von der Station "Bielefeld Ost" nur NO2 und O3 bekomme. Von der Webseite hole ich mir auch noch die PM10 Werte dieser Station. Könnte man www.lanuv.nrw.de noch als weitere Quelle in das Modul aufnehmen?

Ich möchte mit den aktuellen Luftqualitätswerten herausfinden ob das Lüften bzw. einschalten der Wohnraulüftung sinnvoll ist. Daher fände ich einen Vergleich der gemessenen Werte mit den Grenzwerten gut. Eine Idee wäre auch noch das man sich selber Grenzwerte festlegen kann wenn man die offiziellen Grenzwerte noch verschärfen möchte, um dann zum beispiel benachrichtigt zu werden, wenn gerade lieber nicht gelüftet werden sollte oder wie in meinem Fall dann die Wohnraumlüftung abgeschaltet wird.

Gruß Mathias

Offline peterk_de

  • Sr. Member
  • ****
  • Beiträge: 606
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #13 am: 08 März 2017, 22:19:39 »
Hmm, FroggyFrog, ich glaube, das für jedes Bundesland einzeln zu machen, das ist 16facher Pflegeaufwand. Zumal die Sachen in jedem Bundesland ja anders bereitgestellt werden.

Mein Beispiel - Sachsen-Anhalt - ist da vielleicht sogar ein typisches: Die haben nur ne Webseite im 90er Jahre-Stil, und - woah! - ne iOS-App. Die hatte ich mir mal mit Wireshark vorgenommen - und jetzt kommt der Brüller - das ist deren "API":

http://www.mu.sachsen-anhalt.de/lau/luesa/tmp/LUESA-APP-json.txt

Immerhin strukturierte Daten, aber alles von allen Messstationen auf einmal. Wer soll so nen Mist in 16fach anderer Ausführung freiwillig aktuell halten? Das läuft doch auf 16 komplett verschiedene Module hinaus. Und will man wirklich für jedes Bundesland ein Modul? Wär zwar das Optimum aber ... hmm. Ich nehm jetzt mangels Zeit, es ordentlich zu machen, mit dem HTTPMOD für die fehlenden Werte einfach von der Webseite und gut. ;-) Vielleicht könnte man ja die entsprechenden URLS/Regexe/XPath-Ausdrücke ja mal im wiki sammeln.

P.S. mein Indoor-PM10 Sensor misst immer deutlich niedrigere Werte als die Station auf der Straße. Danach dürfte ich nie Lüften 😂 Wert geht beim Lüften auch tatsächlich hoch und fällt dann bis zum nächsten mal langsam ab.
« Letzte Änderung: 08 März 2017, 22:22:43 von peterk_de »
Intel NUC5i5 -> Proxmox -> Ubuntu 16.04 LTS
IOdevs: 2x Homematic, CUL868, HarmonyHub
Frontends: 3x TabletUI Android-Tablets mit AMAD+FullyBrowser, Homebridge/Siri
Aktoren/Sensoren: 86x Homematic, 15x WMBUS/Techem, 7x WiFi, 5x BLE, 2x BT, Geofencing
FHEM2FHEM-Roomnodes: 5x Raspi, 1x Cubietruck

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #14 am: 12 März 2017, 08:29:50 »
Hi Markus,
der https://forum.fhem.de/index.php/topic,68875.0.html bzgl. Radioaktivität ist mir eben auf die Füße gefallen. Sinnvoll/Möglich zu implementieren ?

Macht es Sinn Grenzwerte per Modul vorzugeben ? Oder würdest Du da eher den Einsatz von userreadings bevorzugen ?

Zitat
Timestamps von allen Daten die in irgendwechen externen Quellen mit einem Zeitstempel rumschwirren werden eigentlich immer mit dieser Zeit eingetragen.
Hab ich ja verstanden  ;) Ist es daher auch "normal", dass man auf der Detailseite bei einer Aktualisierung seitens des internaltimers den timestamp der Aktualisierung sieht, bei einem refresh dann aber den timestamp der Messung ?

Grüße Markus
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #15 am: 12 März 2017, 11:48:16 »
Hi Markus,
der https://forum.fhem.de/index.php/topic,68875.0.html bzgl. Radioaktivität ist mir eben auf die Füße gefallen. Sinnvoll/Möglich zu implementieren ?

In Arbeit :)

Zitat
Macht es Sinn Grenzwerte per Modul vorzugeben ? Oder würdest Du da eher den Einsatz von userreadings bevorzugen ?
Userreadings oder was auch immer, lieber nicht im Modul.


Zitat
Hab ich ja verstanden  ;) Ist es daher auch "normal", dass man auf der Detailseite bei einer Aktualisierung seitens des internaltimers den timestamp der Aktualisierung sieht, bei einem refresh dann aber den timestamp der Messung ?
Nein, das ist eher ein UI-Ding. Hängt glaube ich damit zusammen dass du trotzdem noch ein Event bekommst.
Im Log hast du aber immer die richtigen Timestamps der Messung.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4216
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #16 am: 12 März 2017, 11:51:28 »
Die Ortsdosisleistung vom Bundesamt für Strahlenschutz bezieht sich ausschließlich auf die Gamma-Strahlung, weil diese am einfachsten zu messen ist. Für Privatpersonen ist die Belastung durch Alpha- und Beta-strahlende Isotope aber der wichtige Faktor, denn diese können inkorporiert werden und damit langfristige Exposition im Innern des Körpers hervorrufen. Sollte es bei einem (extrem unwahrscheinlichen) Reaktorunfall zur Freisetzung von Material kommen, ist genau dieser Niederschlag radioaktiver Isotope die Gefahr - und nicht die Gammastrahlung in ein paar Kilometern Entfernung.

Die Gamma-ODL ist nur ein Indikator für die mittlere langfristige Strahlenexposition der Bevölkerung - es macht mit anderen Worten keinerlei Sinn, hier einen Grenzwert zu definieren und dann ggf. eine Warnung auszulösen.

LG

pah

Offline peterk_de

  • Sr. Member
  • ****
  • Beiträge: 606
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #17 am: 12 März 2017, 12:17:38 »
Die Gamma-ODL ist nur ein Indikator für die mittlere langfristige Strahlenexposition der Bevölkerung - es macht mit anderen Worten keinerlei Sinn, hier einen Grenzwert zu definieren und dann ggf. eine Warnung auszulösen.

Als jemand, der davon keine Ahnung hat: Das liest sich auf deren Seiten und in deren FAQ aber 100% anders.

Edit: Siehe https://odlinfo.bfs.de/DE/themen/was-ist-odl/ereignisfall.html
« Letzte Änderung: 12 März 2017, 12:19:39 von peterk_de »
Intel NUC5i5 -> Proxmox -> Ubuntu 16.04 LTS
IOdevs: 2x Homematic, CUL868, HarmonyHub
Frontends: 3x TabletUI Android-Tablets mit AMAD+FullyBrowser, Homebridge/Siri
Aktoren/Sensoren: 86x Homematic, 15x WMBUS/Techem, 7x WiFi, 5x BLE, 2x BT, Geofencing
FHEM2FHEM-Roomnodes: 5x Raspi, 1x Cubietruck

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4216
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #18 am: 12 März 2017, 12:48:42 »
Also, etwas ausführlicher:

1. Natürlich steigt bei einem radioaktiven Niederschlag auch die Gammastrahlung an, denn bei den meisten Alpha- und Beta-Zerfällen werden auch Gamma-Photonen freigesetzt. Allerdings ist der radioaktive Niederschlag eine sehr stark regionale Sache. Wie man hier sehen kann

https://lh5.googleusercontent.com/-Rvm7CeZn1gw/TYcUk22uBvI/AAAAAAAALAw/eakkVrOpPQ0/s1600/Deutschlandkarte_Caesium_Radioaktivit%25C3%25A4t_Deutschland.gif
https://lh4.googleusercontent.com/-gDV-VxpaYTY/TYcXk1_xRfI/AAAAAAAALA4/xP5RTaUWxPE/s1600/Deutschlandkarte_Radonkarte_2003.gif

oder auf tausenden öffentlicher Karten des Gebietes um Tchernobyl, kann eine solche Belastung durch Radioisotope über kurze Abstände sehr stark variieren.

2. Aus genau diesem Grund betreibt das BfS ja 1800 Messstellen - und natürlich wird man z.B. das Hereintreiben einer solchen radioaktiven Wolke im Gesamtbild sehen. Aber eben nicht notwendigerweise in einer einzelnen Station, oder in einer einzelnen Region.

3. Das BfS betreibt ein extensives Monitoring dieses Gesamtbildes. Daraus lassen sich dann eben Aussagen gewinnen wie "Nukleare Freisetzung in Osteuropa, leichte Erhöhung der Radioaktivität dann und dann dort und dort zu erwarten". Dann wird man erst sehen müssen, um was es sich handelt - könnte z.B. kurzlebiges leichtes Zeug wie Tritium sein. Und erst dann kann man eine sinnvolle Warnung aussprechen.

LG

pah

Ach ja: Ich bin ausgewiesener Kernphysiker. Am 1. Mai 1986 haben wir auf einem Fahrradausflug eine volle Niederschlagsdosis aus Tchernobyl abbekommen - als ich am nächsten Tag vor das Ganzkörperdosimeter meiner Arbeitsstelle getreten bin, hat das ganz schön gerattert. 1989 habe ich dann auch mal als Gastwissenschaftler am Kurchatov-Institut in Moskau gearbeitet. Deren Werbebroschüre zeigte noch 1989 ein Bild des Tchernobyl-Reaktors...
Gefällt mir Gefällt mir x 1 Zustimmung Zustimmung x 2 Liste anzeigen

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #19 am: 12 März 2017, 17:12:19 »
Als jemand, der davon keine Ahnung hat: Das liest sich auf deren Seiten und in deren FAQ aber 100% anders.

Wenn du deine Bleijalousien automatisch mit FHEM steuern möchtest, kannst du das mit der neuen Version des Moduls probieren.
Viel Spass damit!

Markus
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline peterk_de

  • Sr. Member
  • ****
  • Beiträge: 606
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #20 am: 12 März 2017, 17:39:00 »
Haha, naja, ich teste es auf jeden Fall wieder ;-)

Was ich aus pah's Kommentar (danke dafür!) schließe: Die reinen Messwerte einer Station sind zwar möglicherweise ein Frühindikator, dass es "Rumms" gemacht hat. Aber da die aggregierten Daten aus verschiedenen Stationen ein genaueres Lagebild für den eigenen Standort ergeben, ist es vermutlich (auch wegen Falsch-Positiven Meldungen) sinnvoller, selbst keinen Schwellwert für eine einzelne Messstation zu setzen und dann die Bleijalousien herunterzulassen, sondern sich dafür lieber auf die öffentlichen Katastrophenschutzmeldungen zu verlassen.

Das hab ich schon länger als Handy-App (Nina - funktioniert prima, einmal dadurch schon auf einen Großbrand in der Nähe aufmerksam gemacht worden) und müsste ich jetzt mangels passendem Gegen-Aktor nicht unbedingt auch noch in FHEM haben. Also OK ich könnte dann die Lüftungsempfehlungen aussetzen. Aber ähm ... naja egal. Luftverschmutzung in 100m Entfernung ist alltagsrelevanter.
« Letzte Änderung: 12 März 2017, 17:42:50 von peterk_de »
Intel NUC5i5 -> Proxmox -> Ubuntu 16.04 LTS
IOdevs: 2x Homematic, CUL868, HarmonyHub
Frontends: 3x TabletUI Android-Tablets mit AMAD+FullyBrowser, Homebridge/Siri
Aktoren/Sensoren: 86x Homematic, 15x WMBUS/Techem, 7x WiFi, 5x BLE, 2x BT, Geofencing
FHEM2FHEM-Roomnodes: 5x Raspi, 1x Cubietruck
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4216
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #21 am: 12 März 2017, 17:44:15 »
Zitat
Bleijalousien

Soso, Blei. Da sieht man mal, welche Folgen die jahrzehntelange ideologische Gehirnwäsche hat  ;)

Alpha-Strahlen (also Heliumkerne) lassen sich durch normale Kunststoffjalousien problemlos abschirmen - vorausgesetzt, diese haben keine Löcher.

Beta-Strahlen (also Elektronen) benötigen zur wirkungsvollen Abschirmung schon mal 2 mm Aluminium. Die Abschirmung kann man  also gerade noch durch Jalousien erledigen.

Gammastrahlen (also Photonen) werden nur geschwächt. Um bei einer Photonen-Energie von 5 MeV auf ein Zehntel der Ausgangsintensität zu kommen, benötigt man eine ca. 5cm dicke Bleischicht. Ein typischer Rolladen von 1,8 m Breite und 1,2 m  Höhe hätte damit eine Masse von ca. 1,22 Tonnen. Wäre bestimmt lustig, den dafür nötigen Rolladenmotor zu sehen.

Merke: Dass man durch Blei vor radioaktiver Strahlung sicher sein kann, ist ein Märchen.

LG

pah
« Letzte Änderung: 13 März 2017, 10:06:30 von Prof. Dr. Peter Henning »

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4216
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #22 am: 12 März 2017, 17:48:14 »
Zitat
sondern sich dafür lieber auf die öffentlichen Katastrophenschutzmeldungen zu verlassen.

Eben, das ist sehr viel sinnvoller. Und bei allem Misstrauen in staatliches Agieren: In den Überwachungszentren sitzen ernsthafte Leute, die mit großer Genauigkeit und hohem Verantwortungsbewusstsein die Lage beobachten.

LG

pah


Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #23 am: 13 März 2017, 09:26:39 »
Hi Markus,
mein Perl ist wieder weinerlich  :'(. Es kennt die encode_utf8 nicht. Ich finde auch kein Paket, welches ich nachinstallieren könnte   :-[
Vermutlich schirmt der Bleimantel zu stark ab  ;D
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #24 am: 13 März 2017, 09:33:21 »
Hi Markus,
mein Perl ist wieder weinerlich  :'(. Es kennt die encode_utf8 nicht. Ich finde auch kein Paket, welches ich nachinstallieren könnte   :-[
Vermutlich schirmt der Bleimantel zu stark ab  ;D

Fixed.
Ebenso wie der Crash aus der ersten Version von gestern, falls mal kein JSON ankommt.

Events für Strahlung gibt es übrigens ab dieser Version nicht mehr, wenn der Wert als unsicher gekennzeichnet ist.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #25 am: 13 März 2017, 10:45:56 »
läuft  :-*
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline jnewton957

  • Full Member
  • ***
  • Beiträge: 306
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #26 am: 13 März 2017, 20:39:42 »
Hallo Markus,

das Modul läuft bei mir ja jetzt schon einige Tage.

Als Tipp für die Nutzer empfehle ich die Nutzung des Attributes showTimeReadings 1
Hintergrund ist, dass die Werte des UBA nicht regelmäßig für alle Stationen ein update bekommen. Auch nachts "schlafen" einige Stationen und die Werte werden morgens nachgeliefert. Man braucht also die Zusatzinformation von wann jeweils der Wert ist.

Ich hatte das Thema airquality auf dem Kölner Usertreffen mit KölnSolar diskutiert.
Es geht beim Modul nicht vordergründig um den "absoluten" Wert. Ob der 1, 50 oder 100 ist, können wir ja nicht mit einer Bewertung versehen.
Aber das UBA hat 11 Grenzwerte pro Luftschadstoff. Es ist also jeweils die Farbgebung der Werte aussagekräftig. Wie weit bin ich von Grenzwerte entfernt. Bin ich blau, hellblau oder schon hellgelb (schönes Wortspiel).

Ich habe das mal in ein Tablet UI umgesetzt.
Anbei meine aktuelle Version (mit Platz für mehr Werte).
Ich habe auch den Air_Quality Wert aus dem Netatmo_Forecast von Citeair noch eingefügt.

Für die Darstellung mache (suche) ich noch eine Möglichkeit, die 11 Grenzwerte quasi als Kopfzeile anzeigen zu lassen. So sehe ich, wie weit ich vom nächsten Grenzwerte mit Farbwechsel entfernt bin.

Nochmals vielen Dank Markus für die schnelle und tolle Arbeit des Moduls.
FHEM5.8 auf Pi3
V 1.65 nanoCUL433 (IT)
nanoCUL JeeLink
V 1.66 nanoCUL868 (HM) (ESA2000WZ)
xELRO AB440, xDECT200, PCA301, xTFA30.3125, esp8266, HM, TabletUI, IR-Schreiblesekopf (Udo)

Offline Octopus180

  • Jr. Member
  • **
  • Beiträge: 80
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #27 am: 13 März 2017, 21:57:55 »
Hallo jnewton957

Wärst du so nett und würdest deine HTML zu Verfügung stellen. Sie sieht sehr interessant aus.

Danke

Offline afloria

  • Full Member
  • ***
  • Beiträge: 103
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #28 am: 13 März 2017, 23:37:54 »
Sehr cooles Module: Vielen Dank!

Ich bekomme zwar alle Readings, kann jedoch keine der Daten in der DBLog finden.

Die werden normalerweise von allen Devices erfasst:
define DbLog DbLog ./conf/db.conf .*
« Letzte Änderung: 13 März 2017, 23:58:47 von afloria »

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #29 am: 14 März 2017, 09:11:45 »
Ich bekomme zwar alle Readings, kann jedoch keine der Daten in der DBLog finden.

DbLog_splitFn Init vergessen - Oops...
Und der ODL Key ändert sich auch jeden Tag.
Das plus verbessertes Fehlerhandling im ersten Post.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Gisbert

  • Full Member
  • ***
  • Beiträge: 163
  • Das Ziel ist das Ziel, oder so ähnlich !?
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #30 am: 14 März 2017, 21:00:36 »
Hallo Markus,

es gibt das Attribut stationRadiation.
Wie bekomme Daten von einer Messstelle, z.B. von dieser: 50737 Köln-Weidenpesch ?
https://odlinfo.bfs.de/DE/aktuelles/messstelle/053150002.html

Mit attr <name> stationRadiation 053150002 funktioniert es nicht.

Viele Grüße Gisbert

Fhem 5.8 auf RPi3 B, Homematic, ESP8266, Sonoff Dual, 1-Wire-Temperatursensoren, Wlan-Kamera

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #31 am: 15 März 2017, 06:33:35 »
Hallo Gisbert,
auch wenn Du den anderen Markus ansprachst  ;)
Probier es immer mal wieder mit einem get data. Irgendwie scheint es öfter Probleme mit der Datenbereitstellung zu geben. Manchmal werden dann Daten von mehreren Messzeitpunkten auf einmal abgeholt.
Die Id sollte passen. Hab ich mir gerade nochmal angesehen. Du hast die aktuellste Version(ich glaub von gestern oder vorgestern) des Moduls ?
Grüße Markus
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Gisbert

  • Full Member
  • ***
  • Beiträge: 163
  • Das Ziel ist das Ziel, oder so ähnlich !?
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #32 am: 15 März 2017, 08:05:52 »
Hallo Markus aus dem sonnigen Köln (letzteres ist häufig ein Widerspruch),
es ist genauso, wie du es beschrieben hast. Es tauchen Daten mit verschiedenen Zeitstempeln auf, die alle in einem Rutsch im Logfile stehen.
Das Modul ist das aktuelle von gestern.

@Markus (Modulentwickler),
es gibt wohl die Möglichkeit updates in GitHub einzustellen, die auch beim update in Fhem geladen werden. Ich glaube, dass man in Fhem den Pfad hinterlegen muss, und update all ausführen muss. Dieser Prozess würde das manuelle Suchen, Herunterladen, Verschieben und Ändern der Nutzerrechte der Datei vermeiden.

Viele Grüße Gisbert
Fhem 5.8 auf RPi3 B, Homematic, ESP8266, Sonoff Dual, 1-Wire-Temperatursensoren, Wlan-Kamera

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #33 am: 15 März 2017, 15:52:22 »
Die Daten kommen tatsächlich ab und an nicht regelmäßig. Das ist also leider normal.
Der Key für die ODL Daten wechselt übrigens scheinbar  mehrmals am Tag.

Das Modul kommt nach der Testphase ins reguläre Update. Vorher will ich aber erst mal die gröbsten Probleme beseitigen.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Brice

  • Full Member
  • ***
  • Beiträge: 393
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #34 am: 15 März 2017, 16:40:23 »
Danke für das Modul. Läuft hier seit 3 Tagen. Die Abfrage der Daten erfolgt regelmäßig, die Bereitstellung jedoch nicht:

2017.03.15 09:16:55 3: Received 2 values for CO from after 2017-03-15 06:30:00
2017.03.15 09:16:55 3: Received 9 values for SO2 from after 2017-03-14 21:30:00
2017.03.15 09:16:55 3: Received 2 values for O3 from after 2017-03-15 06:30:00
2017.03.15 09:16:55 3: Received 0 values for PM10 from after 2017-03-15 06:30:00
2017.03.15 09:16:55 3: Received 11 values for NO2 from after 2017-03-14 21:30:00

Die nächste Messstation ist ca. 800 m Luftlinie entfernt :)
FHEM auf RPi 3 (produktiv) CUL 868 für FS20 | S300TH | HM-MOD-RPI-PCB für Homematic | Z-Wave ZME_UZB1 für Z-Wave | FRITZ!DECT 200 | HUE | Echo Dot
FHEM auf RPi 2 Max!Cube als CUN 868 | GPIO_PIR | TechemWZ | WiFi-Radio (mpd/mpc)

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #35 am: 16 März 2017, 16:34:44 »
Loglevel Updates und verbessertes Key-Handling für ODL Daten.
Update im ersten Post.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline afloria

  • Full Member
  • ***
  • Beiträge: 103
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #36 am: 17 März 2017, 21:06:04 »
Wie wärs mit einem GIT Repository?

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #37 am: 17 März 2017, 21:08:06 »
Wie wärs stattdessen mit einem offiziellen Modul?
Das hier ist nur als Beta Phase gedacht.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #38 am: 17 März 2017, 21:18:30 »
Hi Markus,
hab gerade mal wieder auf das device geguckt und musste dann auch mal einen Blick ins Log werfen. Gestern um 23:58 gab es Fehler beim Auslesen der Daten. 10 min später, also nicht im normalen Leserythmus, erneuter Versuch mit Fehler. Seitdem war Ruhe im Log, aber eben auch keine Daten  :'( Einmal manuell mit get angestoßen und es läuft wieder.
Ich denke der Logauszug bringt Dir wenig. Brauchst Du sonstige Infos ?

Edit: Gerade fiel mir das Wesentlichste ein: Meinem Test-Raspi wird um 23:30 die Inet-Verbindung gekappt !!! und kommt erst um 6 wieder. Dann scheint es aber wegen der 2 Fehlversuche keinen internaltimer mehr zu geben, der erst durch das erneute get wieder angelegt wird.
« Letzte Änderung: 17 März 2017, 21:21:42 von KölnSolar »
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #39 am: 17 März 2017, 21:29:58 »
Ich denke der Logauszug bringt Dir wenig. Brauchst Du sonstige Infos ?

Falsch gedacht, hätte gerne die Art des Fehlers gewusst.


Zitat
Edit: Gerade fiel mir das Wesentlichste ein: Meinem Test-Raspi wird um 23:30 die Inet-Verbindung gekappt !!! und kommt erst um 6 wieder. Dann scheint es aber wegen der 2 Fehlversuche keinen internaltimer mehr zu geben, der erst durch das erneute get wieder angelegt wird.

Neue Version im ersten Post.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline moskito

  • New Member
  • *
  • Beiträge: 22
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #40 am: 17 März 2017, 21:35:11 »
Und noch eine Kleinigkeit:
In der commandref steht als Überschrift noch "allergy".

Ansonsten läuft das Modul bei mir bestens.

Gruß
Danny
FHEM auf Banana Pi (jessie) + HM-CFG-USB + CC1101 + Rademacher USB + Phillips HUE

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #41 am: 17 März 2017, 21:54:48 »
Du bist hier der Chef  ;D
2017.03.16 23:57:56 3: Getting CO data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=CO&scope[]=8SMW&station[]=DENW059&group[]=pollutant&range[]=1489617000,1489701600
2017.03.16 23:58:36 1: Umwelt: URL error for CO from 1489615200: gethostbyname www.umweltbundesamt.de failed
2017.03.16 23:58:36 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489705076
2017.03.16 23:59:16 1: Umwelt: URL error for NO2 from 1489694400: gethostbyname www.umweltbundesamt.de failed
2017.03.16 23:59:16 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489705076
2017.03.16 23:59:56 1: Umwelt: URL error for O3 from 1489694400: gethostbyname www.umweltbundesamt.de failed
2017.03.16 23:59:56 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489705076
2017.03.17 00:00:36 1: Umwelt: URL error for PM10 from 1489694400: gethostbyname www.umweltbundesamt.de failed
2017.03.17 00:00:36 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489705076
2017.03.17 00:01:16 1: Umwelt: URL error for SO2 from 1489694400: gethostbyname www.umweltbundesamt.de failed
2017.03.17 00:01:16 3: Umwelt: Refreshing ODL key
2017.03.17 00:01:56 1: Umwelt: ODL key call failed! gethostbyname odlinfo.bfs.de failed
2017.03.17 00:01:56 3: Umwelt: Refreshing ODL key
2017.03.17 00:02:16 1: Umwelt: ODL key call failed! http://odlinfo.bfs.de/DE/themen/wo-stehen-die-sonden/messstellen-in-deutschland.html: Can't connect(1) to http://odlinfo.bfs.de:80: IO::Socket::INET: Bad hostname 'odlinfo.bfs.de:80'
2017.03.17 00:02:16 1: PERL WARNING: Use of uninitialized value in concatenation (.) or string at ./FHEM/60_airquality.pm line 636.
2017.03.17 00:02:16 3: Getting ODL data from URL: http://odlinfo.bfs.de/json/053620281ct.json
2017.03.17 00:02:57 1: Umwelt: URL error for ODL: gethostbyname odlinfo.bfs.de failed
2017.03.17 00:02:57 3: Umwelt: Refreshing ODL key
2017.03.17 00:03:17 1: Umwelt: ODL key call failed! http://odlinfo.bfs.de/DE/themen/wo-stehen-die-sonden/messstellen-in-deutschland.html: Can't connect(1) to http://odlinfo.bfs.de:80: IO::Socket::INET: Bad hostname 'odlinfo.bfs.de:80'
2017.03.17 00:03:17 3: Getting ODL data from URL: http://odlinfo.bfs.de/json/053620281ct.json
2017.03.17 00:03:57 1: Umwelt: URL error for ODL: gethostbyname odlinfo.bfs.de failed
2017.03.17 00:08:36 3: Getting CO data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=CO&scope[]=8SMW&station[]=DENW059&group[]=pollutant&range[]=1489620600,1489705200
2017.03.17 00:09:16 1: Umwelt: URL error for CO from 1489618800: gethostbyname www.umweltbundesamt.de failed
2017.03.17 00:09:16 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489705716
2017.03.17 00:09:56 1: Umwelt: URL error for NO2 from 1489694400: gethostbyname www.umweltbundesamt.de failed
2017.03.17 00:09:56 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489705716
2017.03.17 00:10:36 1: Umwelt: URL error for O3 from 1489694400: gethostbyname www.umweltbundesamt.de failed
2017.03.17 00:10:36 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489705716
2017.03.17 00:11:16 1: Umwelt: URL error for PM10 from 1489694400: gethostbyname www.umweltbundesamt.de failed
2017.03.17 00:11:16 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489705716
2017.03.17 00:11:56 1: Umwelt: URL error for SO2 from 1489694400: gethostbyname www.umweltbundesamt.de failed
2017.03.17 21:13:33 3: Getting CO data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=CO&scope[]=8SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489780800
2017.03.17 21:13:33 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489780800
2017.03.17 21:13:33 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489780800
2017.03.17 21:13:33 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489780800
2017.03.17 21:13:33 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489696200,1489780800
2017.03.17 21:13:33 3: Umwelt: Refreshing ODL key
2017.03.17 21:13:33 3: Getting ODL data from URL: http://odlinfo.bfs.de/json30d402268e9341250a45ca0fa27aeee3/053620281ct.json
2017.03.17 21:13:34 2: Received 24 values for radiation
2017.03.17 21:13:35 2: Received 14 values for O3 from after 2017-03-16 21:30:00
2017.03.17 21:13:35 2: Received 21 values for SO2 from after 2017-03-16 21:30:00
2017.03.17 21:13:36 2: Received 20 values for NO2 from after 2017-03-16 21:30:00
2017.03.17 21:13:36 2: Received 0 values for CO from after 2017-03-16 21:30:00
2017.03.17 21:13:36 2: Received 21 values for PM10 from after 2017-03-16 21:30:00
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #42 am: 17 März 2017, 23:02:49 »
Danke, nochmal ne Version :)
ODL bekommt damit wahrscheinlich ohne Internet-Verbindung irgendwann keinen Timer mehr, sollte aber von den Luftdaten morgens wieder mit gestartet werden.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #43 am: 19 März 2017, 10:33:48 »
Hallo Markus,
prinzipiell klappt das nun mit den Daten trotz nächtlich gekappter Inet-Verbindung. Edit: ODL Daten bleiben aber aus  :(

Jetzt ist mir nur an meinem Plot etwas unschönes augefallen(siehe Anhang). Ich hab mir ja einfache Userreadings gemacht, die mir relativ zum festen Grenzwert einen Prozentsatz liefern:

attr Umwelt userReadings relPM10:PM10.* { (ReadingsVal($name, "PM10",  0) / 50 - 1 ) * 100 . " %"}, relNO2:NO2.* {(ReadingsVal($name, "NO2",  0) / 200 - 1 ) * 100 . " %"}, relO3:O3.* {(ReadingsVal($name, "O3",  0) / 120 - 1 ) * 100 . " %"}

Die kriegen jetzt logischerweise den timestamp des Auslesezeitpunkts und nicht Messzeitpunkt  >:( Führt dann neben fehlenden Daten(das wäre aber nicht so schlimm) zu der unschönen Erscheinung in meinem Plot, da ja nun krass unterschiedliche Daten zum auch "falschen" timestamp im Log gespeichert werden.

Eine Idee ?
Schönen Sonntag
Markus
Edit wg. Rückmeldung zu ODL Daten
Edit2: um 13 Uhr kamen sie dann doch wieder. Im Log sieht man, dass der internaltimer periodisch läuft, aber "received 0 values for radiation"
Edit3: heute nacht hats mir dann FHEM aufgehangen ; fhemweb-Zugriff nicht möglich, fhem stop nicht mehr möglich, hohe CPU-Last, Log proppenvoll, Bsp.
2017.03.20 02:23:28 3: Getting CO data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=CO&scope[]=8SMW&station[]=DENW059&group[]=pollutant&range[]=1489887000,1489971600
2017.03.20 02:23:28 1: Umwelt: URL error for CO from 1489885200: gethostbyname www.umweltbundesamt.de failed
2017.03.20 02:23:28 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489955400,1489973008
2017.03.20 02:23:28 1: Umwelt: URL error for NO2 from 1489953600: gethostbyname www.umweltbundesamt.de failed
2017.03.20 02:23:28 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489955400,1489973008
2017.03.20 02:23:28 1: Umwelt: URL error for O3 from 1489953600: gethostbyname www.umweltbundesamt.de failed
Ich glaub aber, dass heut morgen viel mehr passierte. Hab nur leider das Log wg. seiner riesen Größe editiert  :-[
Edit4: Der Neustart hat nun dazu geführt, dass mein Plot nicht mehr funktioniert. Es liegt an den 60(rückwirkend bis 17.3. 17:00) Altwerten für radiation. Nehme ich die raus, sind die Plots OK. Komisch finde ich aber auch, dass bei jeder Abfrage wieder massenhafte Altdaten ausgelesen werden.
2017.03.20 09:09:18 3: Umwelt: Refreshing ODL key
2017.03.20 09:09:18 3: Getting ODL data from URL: http://odlinfo.bfs.de/json15d41d37b75b6dab1d7ceb440bf80320/053620281ct.json
2017.03.20 09:09:21 2: Received 60 values for radiation
2017.03.20 09:09:21 2: Received 22 values for NO2 from after 2017-03-17 21:30:00
2017.03.20 09:09:22 2: Received 22 values for O3 from after 2017-03-17 21:30:00
2017.03.20 09:09:22 2: Received 17 values for SO2 from after 2017-03-17 21:30:00
2017.03.20 09:09:22 2: Received 23 values for PM10 from after 2017-03-17 21:30:00
2017.03.20 09:09:22 2: Received 0 values for CO from after 2017-03-19 09:30:00
2017.03.20 10:09:22 3: Getting CO data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=CO&scope[]=8SMW&station[]=DENW059&group[]=pollutant&range[]=1489915800,1490000400
2017.03.20 10:09:22 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489865400,1489950000
2017.03.20 10:09:22 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489865400,1489950000
2017.03.20 10:09:22 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489865400,1489950000
2017.03.20 10:09:22 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489851000,1489935600
2017.03.20 10:09:22 3: Getting ODL data from URL: http://odlinfo.bfs.de/json15d41d37b75b6dab1d7ceb440bf80320/053620281ct.json
2017.03.20 10:09:23 2: Received 0 values for radiation
2017.03.20 10:09:23 2: Received 23 values for PM10 from after 2017-03-18 20:30:00
2017.03.20 10:09:23 2: Received 12 values for SO2 from after 2017-03-18 16:30:00
2017.03.20 10:09:24 2: Received 22 values for NO2 from after 2017-03-18 20:30:00
2017.03.20 10:09:24 2: Received 22 values for O3 from after 2017-03-18 20:30:00
2017.03.20 10:09:24 2: Received 0 values for CO from after 2017-03-19 10:30:00
2017.03.20 11:09:24 3: Getting CO data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=CO&scope[]=8SMW&station[]=DENW059&group[]=pollutant&range[]=1489919400,1490004000
2017.03.20 11:09:24 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489948200,1490004564
2017.03.20 11:09:24 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489948200,1490004564
2017.03.20 11:09:24 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489948200,1490004564
2017.03.20 11:09:24 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW059&group[]=pollutant&range[]=1489933800,1490004564
2017.03.20 11:09:24 3: Getting ODL data from URL: http://odlinfo.bfs.de/json15d41d37b75b6dab1d7ceb440bf80320/053620281ct.json
2017.03.20 11:09:24 2: Received 0 values for radiation
2017.03.20 11:09:25 2: Received 13 values for O3 from after 2017-03-19 19:30:00
2017.03.20 11:09:25 2: Received 14 values for PM10 from after 2017-03-19 19:30:00
2017.03.20 11:09:25 2: Received 11 values for NO2 from after 2017-03-19 19:30:00
2017.03.20 11:09:25 2: Received 0 values for CO from after 2017-03-19 11:30:00
2017.03.20 11:09:25 2: Received 13 values for SO2 from after 2017-03-19 15:30:00
Zumindest die massenhafte Abfrage wird ein wenig klarer für mich. In der letzten fhem.save waren setstates vom 17.3. 16:Uhr, so dass airquality dort nach dem FHEM-Neustart aufgesetzt hat. Versteh grad nur nicht, warum um 23:59 kein automatischer save gemacht wurde, wie auf meinem Produktivsystem. Aber das ist OT und andere Baustelle  :(
Edit5: Den save macht das statistics_modul. War mir vorher nicht klar. Ich hab aber jetzt den Zeitpunkt des Absturzes näher analysieren können. Nachdem die Inet-Verbindung zurückkehrt, kann airquality trotz einer Verbindung keine Daten mehr lesen. Versucht es aber im Abstand von ca. 250ms unentwegt und müllt das Log entsprechend zu  :( Nach einem manuellen get ist dann Ruhe.
« Letzte Änderung: 20 März 2017, 22:16:22 von KölnSolar »
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #44 am: 22 März 2017, 18:37:38 »
DNS Probleme plus Timer-Kaskade. Unschön...
Probier mal die neue Version.
Darin kann man auch einen persönlichen API Key angeben, wenn man sowas hat.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #45 am: 22 März 2017, 19:44:32 »
Ja dann schaun wir mal. Gestern hatte ich tagsüber die Inet-Verbindung gekappt und nach Wiederherstellung hatte ich nach ein paar Stunden 426 MB im Log  :o
Hast Du schon eine Idee, ob und wie das mit den timestamps von userReadings zum Messzeitpunkt hinhauen könnte ?

Zitat
persönlichen API Key
Ägypten  ??? Was ist das und was kann das  :-[
Grüße Markus
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Online RaspiLED

  • Full Member
  • ***
  • Beiträge: 442
  • Es begann alles so klein ;-)
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #46 am: 22 März 2017, 20:15:21 »
Hi Markus,
lies mal die Box rechts oben zu fhem 5.8!
https://forum.fhem.de/index.php/topic,67419.0.html
Gruß Arnd


Raspi2 mit FHEM, CUL, Signalduino, MySensors, HomeBridge, Presence, Bravia, ...
Raspberry Pi mit FHEM, CUL, Signalduino, MySensors, HomeBridge, Presence, WifiLight2, Bravia, ...

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #47 am: 22 März 2017, 20:37:07 »
Falsch, hat damit rein gar nichts zu tun.
Wenn du nicht weisst was es ist, brauchst du es auch nicht.
Im anderen Thread hatte sich jemand bei der BfS Seite registriert und bekommt damit eventuell einen persönlichen Key für die Strahlungsdaten.


Zitat
Hast Du schon eine Idee, ob und wie das mit den timestamps von userReadings zum Messzeitpunkt hinhauen könnte ?
Nein, das funktioniert nicht.

Wenn du deine Internetverbindung mutwillig deaktivierst, solltest du übrigens vorher alle Module deaktivieren die darauf angewiesen sind.
Das hier sollte sich jetzt wenigstens einigermaßen benehmen.
« Letzte Änderung: 22 März 2017, 20:39:48 von Markus M. »
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #48 am: 22 März 2017, 20:56:01 »
Arnd, Du solltest mich doch mittlerweile besser kennen  ;)

Zitat
Nein, das funktioniert nicht.
:'( :'( :'( Du "manipulierst" doch auch den timestamp der Readings. Das müsste man doch dann auch in einer Routine in den userReadings machen können(die Hoffnung stirbt zuletzt)
Zitat
Wenn du deine Internetverbindung mutwillig deaktivierst, solltest du übrigens vorher alle Module deaktivieren die darauf angewiesen sind.
Ja da hast Du schon recht. Ist ja auch nur bei meinem Testsystem. Nur, produktiv kann es ja auch mal ausfallen  :'(
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #49 am: 22 März 2017, 21:06:14 »
Arnd, Du solltest mich doch mittlerweile besser kennen  ;)
 :'( :'( :'( Du "manipulierst" doch auch den timestamp der Readings. Das müsste man doch dann auch in einer Routine in den userReadings machen können(die Hoffnung stirbt zuletzt)Ja da hast Du schon recht. Ist ja auch nur bei meinem Testsystem. Nur, produktiv kann es ja auch mal ausfallen  :'(

Wenn du die UserReadings Routine anpassen möchtest, dann schon.
Wenn ein Patch dabei rauskommt umso besser, vielleicht stösst er auf allgemeines Interesse.

Internet kann ausfallen, darauf teste ich aber nicht. Zumindest nicht bis es ausfällt.
Das Leben ist zu kurz für Testsysteme ;)
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #50 am: 22 März 2017, 21:16:19 »
Zitat
Wenn ein Patch dabei rauskommt umso besser, vielleicht stösst er auf allgemeines Interesse.
Da überschätzt Du meine Perl-Fähigkeiten  ;)
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Online RaspiLED

  • Full Member
  • ***
  • Beiträge: 442
  • Es begann alles so klein ;-)
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #51 am: 22 März 2017, 22:30:49 »
Hi Jungs,
Ja ihr habt ja Recht. So ist das halt, wenn man die Beiträge nur schnell scannt Sorry!

Dennoch kurz die Erläuterung zum ApiKey. Es gibt Webseiten die sollen komerziell Daten bereitstellen. Und gleichzeitig andere oder seltener Daten zur freien Verfügung rausgeben. Dann hilft man sich häufig mit ApiKeys, also Schlüsseln um Daten in unterschiedlicher Qualität/Häufigkeit freizuschalten. API=ApplikationsInterface - Key=Schlüssel
Z.B. Bei der ESP8266 Wetterstation und der Webseite WeatherUnderground braucht auch jede Person einen eigenen ApiKey ;-) Umsonst nur ein Gerät ungefähr alle 10 Minuten. Unbegrenzt (also z.B. 10.000 Geräte alle 10 Minuten) mehrere Tausend Euro im Jahr.
Gruß Arnd


Raspi2 mit FHEM, CUL, Signalduino, MySensors, HomeBridge, Presence, Bravia, ...
Raspberry Pi mit FHEM, CUL, Signalduino, MySensors, HomeBridge, Presence, WifiLight2, Bravia, ...

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #52 am: 23 März 2017, 16:17:14 »
wenn es nicht nur einfach Zufall ist, dann sieht es jetzt gut aus. Kein Datenmüll, sondern nur die üblichen stündlichen Abfrageversuche.
Grüße Markus
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Gisbert

  • Full Member
  • ***
  • Beiträge: 163
  • Das Ziel ist das Ziel, oder so ähnlich !?
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #53 am: 06 April 2017, 09:11:17 »
Hallo,

seit 1. April, 2:00 bekomme ich keine neueren Daten, d.h. der letzte Eintrag hat den Zeitstempel 1. April 2:00.
Auf der Homepage http://www.umweltbundesamt.de/daten/luftbelastung/aktuelle-luftdaten#/stations gibt es aktuelle Daten.
Ich habe auch mal die Station gewechselt, ohne Änderung.

In /opt/fhem/FHEM ist die 60_airquality.pm bei mir mit Datum 18.03.2017 08:52 gespeichert.

Internals:
Internals:
   CFGFN      ./FHEM/WetterdatenSensorenInternet.cfg
   DEF        DENW355
   NAME       Luftqualitaet
   NR         60
   POLLUTION  Leverkusen Gustav-Heinemann-Str.
   RADIATION  Köln-Weidenpesch
   STATE      Feinstaub 27 µg/m³<br/>Ozon 41 µg/m³<br/>NO<sub>2</sub> 63 µg/m³<br/>Radioaktivität 0.09 µSv/h
   TYPE       airquality
   Readings:
     2017-04-01 02:00:00   NO2             63
     2017-04-01 02:00:00   O3              41
     2017-04-01 02:00:00   PM10            27
     2017-04-06 05:00:00   radiation_cosmic 0.041
     2017-04-06 05:00:00   radiation_terrestrial 0.049
     2017-04-06 05:00:00   radiation_total 0.09
   Helper:
     INTERVAL   3600
     ODLKey     154ac9a1d2b2c195b1b529cd34b8c38e
     STATION    DENW355
Attributes:
   group      Wetter
   icon       weather_cloudy_light
   pollutants NO2,O3,PM10,SO2
   stateFormat Feinstaub PM10 µg/m³<br/>Ozon O3 µg/m³<br/>NO<sub>2</sub> NO2 µg/m³<br/>Radioaktivität radiation_total µSv/h
   stationO3  DENW079
   stationRadiation 053150002

Logfile nach "get data":
2017.04.06 09:09:18 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW355&group[]=pollutant&range[]=1491006600,1491091200
2017.04.06 09:09:18 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW079&group[]=pollutant&range[]=1491006600,1491091200
2017.04.06 09:09:18 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW355&group[]=pollutant&range[]=1491006600,1491091200
2017.04.06 09:09:18 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW355&group[]=pollutant&range[]=1491377400,1491462000
2017.04.06 09:09:18 3: Getting ODL data from URL: http://odlinfo.bfs.de/json154ac9a1d2b2c195b1b529cd34b8c38e/053150002ct.json
2017.04.06 09:09:18 2: Received 0 values for NO2 from after 2017-04-01 02:30:00
2017.04.06 09:09:18 2: Received 0 values for O3 from after 2017-04-01 02:30:00
2017.04.06 09:09:18 2: Received 0 values for PM10 from after 2017-04-01 02:30:00
2017.04.06 09:09:18 2: Received 0 values for SO2 from after 2017-04-05 09:30:00
2017.04.06 09:09:18 2: Received 0 values for radiation

Wie bekomme ich neue Daten?

Viele Grüße Gisbert
Fhem 5.8 auf RPi3 B, Homematic, ESP8266, Sonoff Dual, 1-Wire-Temperatursensoren, Wlan-Kamera

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #54 am: 06 April 2017, 11:47:59 »
geht mir auch so  :'( Ich hatte bis dato daran gedacht, dass es mit meiner Station zusammenhängt, die keine Daten mehr liefert. Hab jetzt aber geguckt: tut es nicht.

Es hängt wohl damit zusammen, dass es am 1.4. keine Daten gab und da bleibt airquality dann hängen, weil das letzte Datum wieder als Aufsetzzeitpunkt genommen wird.

Du hast 2 Workarounds: Löschen des devices und shutdown/restart(getestet und funktioniert). Oder shutdown, bearbeiten der fhem.save(Datum 2.4.) und restart. damit sollten auch historische Daten ab 2.4. kommen(ungetestet, weil für mich uninteressant).
Grüße Markus
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #55 am: 06 April 2017, 12:24:47 »
Argh, so ein Bullshit auch noch!
Ab welchem Alter soll ich historische Daten ignorieren wenn es eine Lücke gibt?
Sind 24h ok?
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #56 am: 06 April 2017, 15:35:51 »
ich denke das passt.
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Gisbert

  • Full Member
  • ***
  • Beiträge: 163
  • Das Ziel ist das Ziel, oder so ähnlich !?
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #57 am: 06 April 2017, 19:04:50 »
Hallo KölnSolar,
der 1. Workaround funktioniert; ist aber keine Dauerlösung. Ich bin mit jeder Lösung zufrieden, die wieder automatisch neue Daten liefert.
Insofern ist eine Lücke bei den historischen Daten nicht so schlimm; meistens schaut man sich die Voreinstellung mit einem Tag an.

Hallo Markus,
vielen Dank und viel Erfolg bei der Änderung.
Das Modul 60_airquality.pm ist ja noch kein offizielles Fhem-Modul. Enthält die neueste Version im ersten Beitrag
Zitat
« Letzte Änderung: Heute um 17:53:43 von Markus M. »
bereits die hier genannten Änderungen?

Viele Grüße Gisbert
Fhem 5.8 auf RPi3 B, Homematic, ESP8266, Sonoff Dual, 1-Wire-Temperatursensoren, Wlan-Kamera

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #58 am: 06 April 2017, 19:11:10 »
Enthält die neueste Version im ersten Beitrag  bereits die hier genannten Änderungen?

Ja, wenn >24h keine Daten kommen werden jeweils nur noch die letzten 24h abgerufen.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #59 am: 07 April 2017, 11:48:32 »
Hallo,

erst einmal Danke für das Modul. Funktionierte sofort.

Wie geht es jetzt weiter mit den ODL-Daten? Ich habe das jetzt zwar mit einem apiKey gelöst und bekomme auch Daten. Aber richtig wäre ja der Zugang über https://<LOGIN>:<PASS>@odlinfo.bfs.de/daten/json/<STATION-ID>.json.

MfG
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #60 am: 07 April 2017, 11:59:21 »
Wie geht es jetzt weiter mit den ODL-Daten? Ich habe das jetzt zwar mit einem apiKey gelöst und bekomme auch Daten. Aber richtig wäre ja der Zugang über https://<LOGIN>:<PASS>@odlinfo.bfs.de/daten/json/<STATION-ID>.json.

Noch nicht dazu gekommen.
Bekommst du was unter https://<LOGIN>:<PASS>@odlinfo.bfs.de/daten/json/<STATION-ID>ct.json ?
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #61 am: 07 April 2017, 14:02:11 »
Bekommst du was unter https://<LOGIN>:<PASS>@odlinfo.bfs.de/daten/json/<STATION-ID>ct.json ?

Ja, erst kommt ein Fenster, das mit "Ja" zu bestätigen ist, dann kommen die Daten. Brauchst Du die Daten?

MfG
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #62 am: 07 April 2017, 14:57:47 »
Ja, erst kommt ein Fenster, das mit "Ja" zu bestätigen ist, dann kommen die Daten. Brauchst Du die Daten?

Die Meldung ist von deinem Browser, ob du den Login verwenden willst?

Wenn ein einzelnes Attribut mit noch unverschlüsselten User:Pass erst mal reicht, kannst du heute abend vielleicht noch testen :)
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #63 am: 07 April 2017, 15:52:57 »
Hallo Markus,

ja, das kommt vom Browser. Aber nur einmalig.

wget rennt:
ralf@yoda:/tmp$ wget https://XXXXX:XXXXX@odlinfo.bfs.de/daten/json/055620080ct.json
--2017-04-07 15:47:00--  https://XXXXX:*XXXXX*@odlinfo.bfs.de/daten/json/055620080ct.json
Auflösen des Hostnamen »odlinfo.bfs.de (odlinfo.bfs.de)«... 194.94.69.74
Verbindungsaufbau zu odlinfo.bfs.de (odlinfo.bfs.de)|194.94.69.74|:443... verbunden.
HTTP-Anforderung gesendet, warte auf Antwort... 401 Unauthorized
Authentifizierung ausgewählt: Basic realm="BfS ODL-Info Downloadbereich"
Wiederverwendung der bestehenden Verbindung zu odlinfo.bfs.de:443.
HTTP-Anforderung gesendet, warte auf Antwort... 200 OK
Länge: 22174 (22K) [application/json]
In »»055620080ct.json«« speichern.

055620080ct.json              100%[=================================================>]  21,65K  --.-KB/s    in 0,02s   

2017-04-07 15:47:00 (1,04 MB/s) - »055620080ct.json« gespeichert [22174/22174]

MfG

http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #64 am: 07 April 2017, 17:20:45 »
wget rennt

Dann probier mal ob das Modul das auch tut.
username:password kommt in's Attribut userPassODL
Danach bitte neu starten und mal das Log mit verbose 4 (oder höher) beobachten.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline KölnSolar

  • Hero Member
  • *****
  • Beiträge: 1370
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #65 am: 07 April 2017, 22:48:19 »
Hi Markus,
wenn ich es richtig in Erinnerung habe, sollten doch Logmeldungen zum "normalen Verhalten" mit Level 3 geloggt werden, oder ? Hab airquality jetzt in meinem Prod.system laufen und da find ich die Meldungen bei generellem verbose 2 unschön/überflüssig.
Zitat
Skipping missing readings before 2017-04-06 11:31:49
kommt jetzt auch regelmäßig mit level 2. Wenn es nicht zu aufwändig in der Umsetzung ist, sollte die aus meiner Sicht nur kommen, wenn wirklich Zeiträume übersprungen werden, dann aber gerne als level 2  ;)
Grüße Markus
RPi3/2 Jessie-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-CUL868-FS20A4-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty-Boop

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #66 am: 08 April 2017, 01:01:51 »
Dann probier mal ob das Modul das auch tut.
username:password kommt in's Attribut userPassODL
Danach bitte neu starten und mal das Log mit verbose 4 (oder höher) beobachten.

Hallo Markus,

hier die Logs nach Neustart (userPassODL ist gefüllt, 2 x get data):

2017.04.08 00:46:54 3: Luftdaten: Refreshing ODL key
2017.04.08 00:46:54 1: Luftdaten: Personal ODL key seems to be invalid!
2017.04.08 00:46:54 3: Getting ODL data from URL: http://odlinfo.bfs.de/jsona192f6dc757ba5c406e780800d50300f/055620080ct.json
2017.04.08 00:46:54 2: Received 0 values for radiation
2017.04.08 00:46:54 5: JSON data for radiation
$VAR1 = {
          'stamm' => {
                       'mw' => '0.066',
                       'hoehe' => 50,
                       'kid' => 4,

2017.04.08 00:47:25 3: Getting ODL data from URL: http://odlinfo.bfs.de/jsona192f6dc757ba5c406e780800d50300f/055620080ct.json
2017.04.08 00:47:25 2: Received 0 values for radiation
2017.04.08 00:47:25 5: JSON data for radiation
$VAR1 = {
          'mw24h' => {
                       't' => [
                                '2016-03-21',
                                '2016-03-22',
                                '2016-03-23',

MfG
« Letzte Änderung: 08 April 2017, 01:03:47 von Ralf W. »
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #67 am: 08 April 2017, 01:18:05 »
Hallo Markus,
hier die Logs nach Neustart (userPassODL ist gefüllt, 2 x get data):

Funktioniert noch nicht, bitte nochmal mit der aktualisierten Version probieren.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #68 am: 08 April 2017, 01:27:36 »
Da fehlt noch ein @ nach dem Kennwort:

2017.04.08 01:24:11 1: Luftdaten: URL error for ODL: https://xxxxx:xxxxxodlinfo.bfs.de/json/055620080ct.json: malformed or unsupported URL
MfG
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #69 am: 08 April 2017, 01:31:17 »
Da fehlt noch ein @ nach dem Kennwort:
Stimmt. Jetzt besser?
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #70 am: 08 April 2017, 01:37:16 »
2017.04.08 01:34:03 3: Getting ODL data with login from URL: https://odlinfo.bfs.de/json/055620080ct.json                                                                                                                 
2017.04.08 01:34:03 5: JSON data for PM10                                                                                                                                                                                 
$VAR1 = {                                                                                                                                                                                                                 
          'data' => [                                                                                                                                                                                                     
                      []                                                                                                                                                                                                   
                    ],                                                                                                                                                                                                     
          'time_scope' => [                                                                                                                                                                                               
                            3600                                                                                                                                                                                           
                          ]                                                                                                                                                                                               
        };                                                                                                                                                                                                                 
                                                                                                                                                                                                                           
...                                                                                                                                                     
                                                                                                                                                                                                                           
2017.04.08 01:34:03 1: Luftdaten: ODL key missing                                                                                                                                                                         
2017.04.08 01:34:03 3: Luftdaten: Refreshing ODL key                                                                                                                                                                       
2017.04.08 01:34:03 1: Luftdaten: Personal ODL key seems to be invalid!         
     

STATE = error                                                                                                                                     
« Letzte Änderung: 08 April 2017, 01:38:48 von Ralf W. »
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #71 am: 08 April 2017, 01:46:29 »
Klappt nicht.
Muss noch was probieren.
« Letzte Änderung: 08 April 2017, 10:59:40 von Markus M. »
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #72 am: 08 April 2017, 01:49:04 »
Hast PM ...
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #73 am: 08 April 2017, 02:19:29 »
Noch nicht ganz fertig aber der letzte Versuch für heute :)
« Letzte Änderung: 08 April 2017, 12:30:05 von Dr. Boris Neubert »
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #74 am: 08 April 2017, 02:39:41 »
2017.04.08 02:32:29 3: Getting ODL data from URL: http://odlinfo.bfs.de/jsona172f6dc757ba0c480e7020c0d03060f/055620080ct.json
2017.04.08 02:32:29 2: Received 0 values for radiation
2017.04.08 02:32:29 5: JSON data for radiation
$VAR1 = {
          'stamm' => {
                       'plz' => '45711',
                       'status' => 1,
                       'kid' => 4,
                       'kenn' => '055620080',
                       'lat' => '51.67',
                       'hoehe' => 50,
                       'ort' => 'Datteln',
                       'lon' => '7.36',
                       'mw' => '0.066'
                     },
          'mw1h' => {
                      'mw' =>

...
 [


STATE = error
« Letzte Änderung: 08 April 2017, 02:41:59 von Ralf W. »
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #75 am: 08 April 2017, 09:37:20 »
Hallo Markus,

und das ist aktuell nach Neustart:

2017.04.08 09:06:46 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491597000,1491635206             
2017.04.08 09:06:46 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW015&group[]=pollutant&range[]=1491633000,1491635206               
2017.04.08 09:06:46 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491633000,1491635206           
2017.04.08 09:06:46 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491618600,1491635206             
2017.04.08 09:06:46 3: Getting ODL data with login from URL: http://odlinfo.bfs.de/daten/json/055620080ct.json                                                                                                             
2017.04.08 09:06:46 2: Received 0 values for radiation
   

STATE =  9 µg/m³               


Und nach einem get data:

2017.04.08 09:32:51 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491597000,1491636771             
2017.04.08 09:32:51 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW015&group[]=pollutant&range[]=1491633000,1491636771               
2017.04.08 09:32:51 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491633000,1491636771           
2017.04.08 09:32:51 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW002&group[]=pollutant&range[]=1491618600,1491636771             
2017.04.08 09:32:51 3: Getting ODL data with login from URL: http://odlinfo.bfs.de/daten/json/055620080ct.json                                                                                                             
2017.04.08 09:32:52 2: Received 0 values for radiation
 

STATE = 10 µg/m³


Dann scheint es ja zu laufen  :)

MfG                                                                                                                                                                                                                                                                                                             
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4216
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #76 am: 08 April 2017, 10:51:08 »
Nochmal, aus gegebenem Anlass: Die ODL-Daten bekommt man natürlich mit http://<user>:<password>@odlinfo.bfs.de/daten/json/<stationid>.json

Mit HTTPMOD ist das dann ein Dreizeiler - keine Notwendigkeit für ein externes wget.

Aber: Die Nutzungsbedingungen besagen ganz klar, dass es sich um eine individuelle Lizensierung handelt, und dass bestimmte Einschränkungen gelten.

Die Weitergabe der Daten an Dritte, oder so etwas wie das "Ausleihen von Zugängen", sind ganz klare Verstöße gegen diese Nutzungsbedingungen. Und wer so etwa hier diskutiert, oder das Forum (und sei es per PM) für den Austausch solcher Daten nutzt, gefährdet nicht nur den Ruf der ganzen Community, sondern auch den Status des Vereins.

Über den Sinn und Unsinn der Nutzungsbedingungen sollte man mit dem BfS verhandeln - aber vorerst sind sie einzuhalten.

LG

pah
« Letzte Änderung: 08 April 2017, 10:56:23 von Prof. Dr. Peter Henning »

Offline Dr. Boris Neubert

  • Global Moderator
  • Hero Member
  • ****
  • Beiträge: 3598
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #77 am: 08 April 2017, 11:01:40 »
Das Modul ist aus dem ersten Beitrag entfernt und dieses Thema ist bis auf weiteres geschlossen.

Es wird erst wieder geöffnet, wenn eine neue Modulversion veröffentlicht wird, die ausschließlich den vom BfS zulässigen Weg über eine Registrierung unterstützt.
Globaler Moderator, Developer, aktives Mitglied des FHEM e.V. (Marketing, Verwaltung)
Bitte keine unaufgeforderten privaten Nachrichten!
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline Dr. Boris Neubert

  • Global Moderator
  • Hero Member
  • ****
  • Beiträge: 3598
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #78 am: 09 April 2017, 10:02:22 »
Nach Klärung mit dem Modulautor Thema nun wieder geöffnet.
Globaler Moderator, Developer, aktives Mitglied des FHEM e.V. (Marketing, Verwaltung)
Bitte keine unaufgeforderten privaten Nachrichten!

Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #79 am: 09 April 2017, 12:08:15 »
Das Modul unterstützt nun den Datenabruf der Strahlungsdaten mit einem persönlichen Zugang.
Das entsprechende Attribut wird dabei verschlüsselt abgelegt.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony
Gefällt mir Gefällt mir x 2 Liste anzeigen

Offline Ralf W.

  • Full Member
  • ***
  • Beiträge: 371
  • FHEM - Möge die Macht mit dir sein!
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #80 am: 09 April 2017, 14:34:37 »
Rennt. Danke!
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: ZBOX CI320 NANO, Ubuntu Server 14.04, VCCU (HM-CFG-LAN + HM-CFG-USB2), verschiedene HM-Gäräte, JeeLink 868 LaCrosse, LaCrosse GW 868 mit CUL 868, BauhnBridge, diverse Sensoren und Aktoren.

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4216
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #81 am: 09 April 2017, 17:10:25 »
Gut, so ist es ok.

Erstens muss man das BfS an dieser Stelle verstehen - zu viele Ideologen nutzen seriöse Daten, um ihr eigenes Süppchen zu kochen. Als ausgewiesenem Kernphysiker dreht sich mir dabei jedes Mal der Magen um.

Zweitens werde ich mal mit dem Zuständigen telefonieren - eventuell kann man das, bei größerem Interesse, etwas lockern.

LG

pah


Offline Markus M.

  • Developer
  • Hero Member
  • ****
  • Beiträge: 1424
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #82 am: 10 April 2017, 20:34:55 »
Gut, so ist es ok.
Erstens muss man das BfS an dieser Stelle verstehen - zu viele Ideologen nutzen seriöse Daten, um ihr eigenes Süppchen zu kochen. Als ausgewiesenem Kernphysiker dreht sich mir dabei jedes Mal der Magen um.
Zweitens werde ich mal mit dem Zuständigen telefonieren - eventuell kann man das, bei größerem Interesse, etwas lockern.
Hallo pah

Gerne, eine Lockerung ist aber eigentlich gar nicht nötig.
Wenn dein erster Einwand wirklich ein so großes Problem darstellt, sollten die Nutzungsbedingungen für den Zugang eher noch erweitert werden was §14 UrhG bzw. ein explizites Rückrufsrecht angeht.

Das Modul ist mittlerweile ja nur mit Zugang nutzbar und mangels eigenem Interesse werde ich auch keinen großen Aufwand mehr reinstecken.
Ich habe für die Daten keinen Einsatzzweck und auch kein umfassendes Verständnis von der Materie.


Ich werde an dieser Stelle aber nochmals versuchen, detailliert den genauen rechtlichen Hintergrund der vorherigen Version zu erläutern, da ich mir das weder aus den Fingern gesaugt habe noch blauäugig einfach die rechtlichen Rahmenbedingungen ignoriere:

-> Die Nutzungsbedingungen für die (mit Passwort geschützte) Schnittstelle stehen auf der Webseite.
-> Wenn jemand einen Zugang beantragt, stimmt er ihnen durch konkludentes Handeln zu, selbst wenn es nicht mehr ausdrücklich in der Mail steht.
-> Tut jemand das nicht, haben sie mangels ausdrücklicher Zustimmung allerdings keinerlei verbindliche Rechtswirkung in Bezug auf die auf der Seite frei zugängliche Daten (ähnlich Schutzfolienverträge, siehe auch OLG Frankfurt Az. 6 U 221/09), wozu auch die vom Browser angezeigten JSON Dateien gehören.

-> Die Daten auf der BfS Seite stellen eine Datenbank dar, die vom Urheberrecht (§87a UrhG) geschützt ist, was auf der Seite durch die Hinweise auf das Urheberrecht auch gesondert betont wird.
-> Damit leitet sich dann aus §53 UrhG ab, dass die Vervielfältigung zum eigenen wissenschaftlichen Gebrauch, aber dabei explizit nur zu nicht gewerblichen Zwecken zulässig ist.
-> Diese Rechte nimmt jeder einzelne Nutzer der das Modul so nutzen würde individuell wahr, die Bereitstellung des Moduls selbst (das ohne Interaktion des Nutzers erst mal nichts tut) im Rahmen eines Open Source Projekts ist unbedenklich (oder zumindest nicht ansatzweise geklärt).
-> Mögliche Verstöße im Bezug auf das Urheberrecht oder Nutzungsvereinbarungen (sofern rechtswirksam) sind in jedem Fall eine Sache zwischen dem Nutzer und dem Urheber/Lizenzgeber.

Es gibt zahlreiche Urteile zu Screen Scraping in Bezug auf eBay und Flugbuchungsseiten und auch einen ziemlich bizarren Weg wie sich Ryanair auf europäischer Ebene dagegen gewehrt hat, bei Interesse einfach mal Google anwerfen.


Die Kurzfassung davon jedenfalls:
Alles was im Web offiziell frei zugänglich ist und urheberrechtlich geschützt ist, darfst du zu privaten wissenschaftlichen Zwecken ohne kommerziellen Faktor (sehe ich bei FHEM gegeben) downloaden und speichern solange du nicht anderslautenden Nutzungsbestimmungen explizit zugestimmt hast.
Bis zu dem Punkt an dem ich angefangen habe, den geschützten Bereich einzubauen, war zumindest das Modul selbst also noch völlig in Ordnung.
Das Posten von reinen Debug Ausgaben mit Rohdaten hier im Forum ist es allerdings leider (auch jetzt) nicht, egal ob mit oder ohne Zugang!


Ich hoffe das hilft dir, die durchaus komplexe rechtliche Thematik etwas besser zu verstehen.

Viele Grüße,
Markus
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7490 + FRITZ!Powerline 546E

HM Aktoren/Sensoren/Winmatic/Keymatic/Thermostate, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 4216
Antw:Umweltbundesamt Luftdaten - 60_airquality.pm (non-commit)
« Antwort #83 am: 11 April 2017, 16:12:45 »
Lieber Markus,

ich würde mich nicht scheuen, in den Wettbewerb eintreten, wer sich da besser auskennt. Erstens muss ich das schon aus beruflichen Gründen, und zweitens habe ich auch auf der politischen Ebene Einiges damit zu tun.

Aber, Schwamm drüber: So, wie es jetzt ist, kann man es lassen.

LG

pah

 

decade-submarginal