Umweltbundesamt Luftdaten (60_airquality.pm) Ersetzt durch 60_uba.pm & 60_bfs.pm

Begonnen von Markus M., 07 März 2017, 19:31:30

Vorheriges Thema - Nächstes Thema

KölnSolar

Ja dann schaun wir mal. Gestern hatte ich tagsüber die Inet-Verbindung gekappt und nach Wiederherstellung hatte ich nach ein paar Stunden 426 MB im Log  :o
Hast Du schon eine Idee, ob und wie das mit den timestamps von userReadings zum Messzeitpunkt hinhauen könnte ?

Zitatpersönlichen API Key
Ägypten  ??? Was ist das und was kann das  :-[
Grüße Markus
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

RaspiLED

Hi Markus,
lies mal die Box rechts oben zu fhem 5.8!
https://forum.fhem.de/index.php/topic,67419.0.html
Gruß Arnd


Raspi2 mit FHEM, CUL, Signalduino, MySensors, HomeBridge, Presence, Bravia, ...
Raspberry Pi mit FHEM, CUL, Signalduino, MySensors, HomeBridge, Presence, WifiLight2, Bravia, ...

Markus M.

#47
Falsch, hat damit rein gar nichts zu tun.
Wenn du nicht weisst was es ist, brauchst du es auch nicht.
Im anderen Thread hatte sich jemand bei der BfS Seite registriert und bekommt damit eventuell einen persönlichen Key für die Strahlungsdaten.


ZitatHast Du schon eine Idee, ob und wie das mit den timestamps von userReadings zum Messzeitpunkt hinhauen könnte ?
Nein, das funktioniert nicht.

Wenn du deine Internetverbindung mutwillig deaktivierst, solltest du übrigens vorher alle Module deaktivieren die darauf angewiesen sind.
Das hier sollte sich jetzt wenigstens einigermaßen benehmen.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

KölnSolar

Arnd, Du solltest mich doch mittlerweile besser kennen  ;)

ZitatNein, das funktioniert nicht.
:'( :'( :'( Du "manipulierst" doch auch den timestamp der Readings. Das müsste man doch dann auch in einer Routine in den userReadings machen können(die Hoffnung stirbt zuletzt)
ZitatWenn du deine Internetverbindung mutwillig deaktivierst, solltest du übrigens vorher alle Module deaktivieren die darauf angewiesen sind.
Ja da hast Du schon recht. Ist ja auch nur bei meinem Testsystem. Nur, produktiv kann es ja auch mal ausfallen  :'(
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

Markus M.

Zitat von: KölnSolar am 22 März 2017, 20:56:01
Arnd, Du solltest mich doch mittlerweile besser kennen  ;)
:'( :'( :'( Du "manipulierst" doch auch den timestamp der Readings. Das müsste man doch dann auch in einer Routine in den userReadings machen können(die Hoffnung stirbt zuletzt)Ja da hast Du schon recht. Ist ja auch nur bei meinem Testsystem. Nur, produktiv kann es ja auch mal ausfallen  :'(

Wenn du die UserReadings Routine anpassen möchtest, dann schon.
Wenn ein Patch dabei rauskommt umso besser, vielleicht stösst er auf allgemeines Interesse.

Internet kann ausfallen, darauf teste ich aber nicht. Zumindest nicht bis es ausfällt.
Das Leben ist zu kurz für Testsysteme ;)
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

KölnSolar

ZitatWenn ein Patch dabei rauskommt umso besser, vielleicht stösst er auf allgemeines Interesse.
Da überschätzt Du meine Perl-Fähigkeiten  ;)
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

RaspiLED

Hi Jungs,
Ja ihr habt ja Recht. So ist das halt, wenn man die Beiträge nur schnell scannt [emoji6]Sorry!

Dennoch kurz die Erläuterung zum ApiKey. Es gibt Webseiten die sollen komerziell Daten bereitstellen. Und gleichzeitig andere oder seltener Daten zur freien Verfügung rausgeben. Dann hilft man sich häufig mit ApiKeys, also Schlüsseln um Daten in unterschiedlicher Qualität/Häufigkeit freizuschalten. API=ApplikationsInterface - Key=Schlüssel
Z.B. Bei der ESP8266 Wetterstation und der Webseite WeatherUnderground braucht auch jede Person einen eigenen ApiKey ;-) Umsonst nur ein Gerät ungefähr alle 10 Minuten. Unbegrenzt (also z.B. 10.000 Geräte alle 10 Minuten) mehrere Tausend Euro im Jahr.
Gruß Arnd


Raspi2 mit FHEM, CUL, Signalduino, MySensors, HomeBridge, Presence, Bravia, ...
Raspberry Pi mit FHEM, CUL, Signalduino, MySensors, HomeBridge, Presence, WifiLight2, Bravia, ...

KölnSolar

wenn es nicht nur einfach Zufall ist, dann sieht es jetzt gut aus. Kein Datenmüll, sondern nur die üblichen stündlichen Abfrageversuche.
Grüße Markus
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

Gisbert

Hallo,

seit 1. April, 2:00 bekomme ich keine neueren Daten, d.h. der letzte Eintrag hat den Zeitstempel 1. April 2:00.
Auf der Homepage http://www.umweltbundesamt.de/daten/luftbelastung/aktuelle-luftdaten#/stations gibt es aktuelle Daten.
Ich habe auch mal die Station gewechselt, ohne Änderung.

In /opt/fhem/FHEM ist die 60_airquality.pm bei mir mit Datum 18.03.2017 08:52 gespeichert.

Internals:
Internals:
   CFGFN      ./FHEM/WetterdatenSensorenInternet.cfg
   DEF        DENW355
   NAME       Luftqualitaet
   NR         60
   POLLUTION  Leverkusen Gustav-Heinemann-Str.
   RADIATION  Köln-Weidenpesch
   STATE      Feinstaub 27 µg/m³<br/>Ozon 41 µg/m³<br/>NO<sub>2</sub> 63 µg/m³<br/>Radioaktivität 0.09 µSv/h
   TYPE       airquality
   Readings:
     2017-04-01 02:00:00   NO2             63
     2017-04-01 02:00:00   O3              41
     2017-04-01 02:00:00   PM10            27
     2017-04-06 05:00:00   radiation_cosmic 0.041
     2017-04-06 05:00:00   radiation_terrestrial 0.049
     2017-04-06 05:00:00   radiation_total 0.09
   Helper:
     INTERVAL   3600
     ODLKey     154ac9a1d2b2c195b1b529cd34b8c38e
     STATION    DENW355
Attributes:
   group      Wetter
   icon       weather_cloudy_light
   pollutants NO2,O3,PM10,SO2
   stateFormat Feinstaub PM10 µg/m³<br/>Ozon O3 µg/m³<br/>NO<sub>2</sub> NO2 µg/m³<br/>Radioaktivität radiation_total µSv/h
   stationO3  DENW079
   stationRadiation 053150002


Logfile nach "get data":
2017.04.06 09:09:18 3: Getting NO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=NO2&scope[]=1SMW&station[]=DENW355&group[]=pollutant&range[]=1491006600,1491091200
2017.04.06 09:09:18 3: Getting O3 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=O3&scope[]=1SMW&station[]=DENW079&group[]=pollutant&range[]=1491006600,1491091200
2017.04.06 09:09:18 3: Getting PM10 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=PM10&scope[]=1SMW&station[]=DENW355&group[]=pollutant&range[]=1491006600,1491091200
2017.04.06 09:09:18 3: Getting SO2 data from URL: http://www.umweltbundesamt.de/js/uaq/data/stations/measuring?pollutant[]=SO2&scope[]=1SMW&station[]=DENW355&group[]=pollutant&range[]=1491377400,1491462000
2017.04.06 09:09:18 3: Getting ODL data from URL: http://odlinfo.bfs.de/json154ac9a1d2b2c195b1b529cd34b8c38e/053150002ct.json
2017.04.06 09:09:18 2: Received 0 values for NO2 from after 2017-04-01 02:30:00
2017.04.06 09:09:18 2: Received 0 values for O3 from after 2017-04-01 02:30:00
2017.04.06 09:09:18 2: Received 0 values for PM10 from after 2017-04-01 02:30:00
2017.04.06 09:09:18 2: Received 0 values for SO2 from after 2017-04-05 09:30:00
2017.04.06 09:09:18 2: Received 0 values for radiation


Wie bekomme ich neue Daten?

Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

KölnSolar

geht mir auch so  :'( Ich hatte bis dato daran gedacht, dass es mit meiner Station zusammenhängt, die keine Daten mehr liefert. Hab jetzt aber geguckt: tut es nicht.

Es hängt wohl damit zusammen, dass es am 1.4. keine Daten gab und da bleibt airquality dann hängen, weil das letzte Datum wieder als Aufsetzzeitpunkt genommen wird.

Du hast 2 Workarounds: Löschen des devices und shutdown/restart(getestet und funktioniert). Oder shutdown, bearbeiten der fhem.save(Datum 2.4.) und restart. damit sollten auch historische Daten ab 2.4. kommen(ungetestet, weil für mich uninteressant).
Grüße Markus
RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

Markus M.

Argh, so ein Bullshit auch noch!
Ab welchem Alter soll ich historische Daten ignorieren wenn es eine Lücke gibt?
Sind 24h ok?
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

KölnSolar

RPi3/2 buster/stretch-SamsungAV_E/N-RFXTRX-IT-RSL-NC5462-Oregon-CUL433-GT-TMBBQ-01e-CUL868-FS20-EMGZ-1W(GPIO)-DS18B20-CO2-USBRS232-USBRS422-Betty_Boop-EchoDot-OBIS(Easymeter-Q3/EMH-KW8)-PCA301(S'duino)-Deebot(mqtt2)-zigbee2mqtt

Gisbert

Hallo KölnSolar,
der 1. Workaround funktioniert; ist aber keine Dauerlösung. Ich bin mit jeder Lösung zufrieden, die wieder automatisch neue Daten liefert.
Insofern ist eine Lücke bei den historischen Daten nicht so schlimm; meistens schaut man sich die Voreinstellung mit einem Tag an.

Hallo Markus,
vielen Dank und viel Erfolg bei der Änderung.
Das Modul 60_airquality.pm ist ja noch kein offizielles Fhem-Modul. Enthält die neueste Version im ersten Beitrag
Zitat« Letzte Änderung: Heute um 17:53:43 von Markus M. »
bereits die hier genannten Änderungen?

Viele Grüße Gisbert
Aktuelles FHEM | PROXMOX | Fujitsu Futro S740 | Debian 12 | UniFi | Homematic, VCCU, HMUART | ESP8266 | ATtiny85 | Wasser-, Stromzähler | Wlan-Kamera | SIGNALduino, Flamingo Rauchmelder FA21/22RF | RHASSPY

Markus M.

Zitat von: Gisbert am 06 April 2017, 19:04:50
Enthält die neueste Version im ersten Beitrag  bereits die hier genannten Änderungen?

Ja, wenn >24h keine Daten kommen werden jeweils nur noch die letzten 24h abgerufen.
FHEM dev + HomeBridge + Lenovo Flex15 + HM-CFG-USB + RFXtrx433 + Fritz!Box 7590/7580/546E

HM Aktor/Sensor/Winmatic/Keymatic/Thermostat, HUE, Netatmo Weather/Security/Heating, Xiaomi AirPurifier/Vacuum, Withings Aura/BPM/Cardio/Go/Pulse/Thermo, VSX828, Harmony, Siro ERB15LE
https://paypal.me/mm0

Ralf W.

Hallo,

erst einmal Danke für das Modul. Funktionierte sofort.

Wie geht es jetzt weiter mit den ODL-Daten? Ich habe das jetzt zwar mit einem apiKey gelöst und bekomme auch Daten. Aber richtig wäre ja der Zugang über https://<LOGIN>:<PASS>@odlinfo.bfs.de/daten/json/<STATION-ID>.json.

MfG
http://twitter.com/RWausD
Schon gewusst, dass Haarausfall zu einer Glatze führen kann?

FHEM: NUC7PJYH2, Ubuntu Server 22.04.2 LTS, HMCCU - RaspberryMatic, DE ConBee II, diverse Sensoren und Aktoren.