UBA - Umweltbundesamt - Support Thread

steffenp · 12 Februar 2020, 12:04:59

ich bekomme beim Update immer:


uba
UPD FHEM/60_uba.pm
Got 19645 bytes for FHEM/60_uba.pm, expected 19749
aborting.

Ärgerlich ist das dann das gesamte Update abgebrochen wird, nicht nur das Update vom UBA.

Das Modul selber läuft aber einwandfrei.

Florian_GT · 14 Februar 2020, 20:06:14

Zitat von: steffenp am 12 Februar 2020, 12:04:59
ich bekomme beim Update immer:

Code Auswählen Erweitern
uba UPD FHEM/60_uba.pm Got 19645 bytes for FHEM/60_uba.pm, expected 19749 aborting.

Ärgerlich ist das dann das gesamte Update abgebrochen wird, nicht nur das Update vom UBA.

Das Modul selber läuft aber einwandfrei.

Richtig blöd. Ich kann gerade noch nicht feststellen woran das liegt. Das Script zum erzeugen der Controls Datei funktioniert beim Nina Module und anderen perfekt.

Florian_GT · 08 April 2020, 22:20:05

Hallo zusammen,

nach langer Testzeit würde ich den Development State nun in Produktion heben.

Gruß Florian

Gisbert · 26 April 2020, 20:30:20

Hallo Florian,

bei mir schaut's wie folgt aus:

Code Auswählen

2020.04.26 20:23:54 1 : UPD FHEM/60_uba.pm
2020.04.26 20:23:54 1 : Got 19599 bytes for FHEM/60_uba.pm, expected 19388
2020.04.26 20:23:54 1 : aborting.

controls.txt:

Code Auswählen

...
https://raw.githubusercontent.com/fhem/uba/development/controls_uba.txt
...

controls_uba.txt:

Code Auswählen

DEL ./FHEM/60_uba.pm
UPD 2020-04-13_23:40:03 19388 FHEM/60_uba.pm

Vielleicht kannst du die Info gebrauchen.
Falls ich in der Zwischenzeit etwas übersehen habe oder falsch gemacht haben könnte, hast du Kommentare zum obigen Verhalten?

Viele Grüße Gisbert

Gisbert · 29 April 2020, 08:29:04

Hallo Florian,
hallo Luftdaten-Interessierte

die letzten Daten habe ich am Montag, den 27.4., 13:00 reinbekommen.
Hab nur ich das Problem, oder ist es von allgemeinerer Natur?

Viele Grüße Gisbert

KölnSolar · 29 April 2020, 09:44:45

Hi Gisbert,
scheinbar nur Du. Ich hab durchgängig Daten bis heute 8:00 Uhr.
Grüße Markus

Gisbert · 29 April 2020, 10:36:01

Hallo Markus,

ich hab mal verbose auf 5 hochgedreht und ein update des Moduls (zum Runterladen von Daten) angestoßen:

Das logfile sagt folgendes:

Code Auswählen

2020.04.29 10:29:54 3: Getting UBA data from URL: https://www.umweltbundesamt.de/api/air_data/v2/airquality/json?date_from=2020-04-27&time_from=18&date_to=2020-04-29&time_to=10&station=1134&lang=de
2020.04.29 10:29:55 5: JSON data: $VAR1 = {
          'data' => {
                      '1134' => {
                                  '2020-04-27 17:00:00' => [
                                                             '2020-04-27 18:00:00',
                                                             2,
                                                             1,
                                                             [
                                                               1,
                                                               36,
                                                               2,
                                                               '2.000'
                                                             ]
                                                           ]
                                }
                    },
          'count' => 1,
          'request' => {
                         'lang' => 'de',
                         'date_to' => '2020-04-29',
                         'datetime_to' => '2020-04-29 09:00:00',
                         'time_from' => '18:00:00',
                         'station' => '1134',
                         'datetime_from' => '2020-04-27 17:00:00',
                         'date_from' => '2020-04-27',
                         'time_to' => '10:00:00',
                         'index' => 'id'
                       },
          'indices' => {
                         'data' => {
                                     'station id' => {
                                                       'date start' => {
                                                                         '3' => [
                                                                                  'component id',
                                                                                  'value',
                                                                                  'index',
                                                                                  'y-value'
                                                                                ],
                                                                         '1' => 'total index',
                                                                         '2' => 'data incomplete'
                                                                       },
                                                       'date start (CET)' => [
                                                                               'date end (CET)'
                                                                             ]
                                                     }
                                   }
                       }
        };

2020.04.29 10:29:55 4: -------------------------------
2020.04.29 10:29:55 4: x Array Key: 2020-04-27 17:00:00
2020.04.29 10:29:55 5: -x Array Dump: $VAR1 = [
          '2020-04-27 18:00:00',
          2,
          1,
          [
            1,
            36,
            2,
            '2.000'
          ]
        ];

2020.04.29 10:29:55 4: -1 Luftqualitaetsindex: 2
2020.04.29 10:29:55 4: -1 Luftqualitaetsindex_name: mäßig
2020.04.29 10:29:55 4: -2 Daten vollständig: 1
2020.04.29 10:29:55 4: -0 DateTime: 2020-04-27 18:00:00 +0100
2020.04.29 10:29:55 4: -0 DateTime (timestamp): 1588006800
2020.04.29 10:29:55 4: -0 LastUpdate (timestamp): 1588006800
2020.04.29 10:29:55 4: Skip this reading. It should be already in database.
2020.04.29 10:29:55 3: UBA: Done loading all data

Das sieht eigentlich alles gut aus, liegt dann vermutlich an der Station, die keine neuem Daten bereitstellt.

Viele Grüße Gisbert

Florian_GT · 02 Mai 2020, 15:47:20

Zitat von: Gisbert am 26 April 2020, 20:30:20
Hallo Florian,

bei mir schaut's wie folgt aus:
Code Auswählen Erweitern
2020.04.26 20:23:54 1 : UPD FHEM/60_uba.pm 2020.04.26 20:23:54 1 : Got 19599 bytes for FHEM/60_uba.pm, expected 19388 2020.04.26 20:23:54 1 : aborting.

controls.txt:
Code Auswählen Erweitern
... https://raw.githubusercontent.com/fhem/uba/development/controls_uba.txt ...

controls_uba.txt:
Code Auswählen Erweitern
DEL ./FHEM/60_uba.pm UPD 2020-04-13_23:40:03 19388 FHEM/60_uba.pm

Vielleicht kannst du die Info gebrauchen.
Falls ich in der Zwischenzeit etwas übersehen habe oder falsch gemacht haben könnte, hast du Kommentare zum obigen Verhalten?

Viele Grüße Gisbert

Hi,

das ist in der tat ein Problem, bei dem ich gerade auch wieder gestolpert bin, als ich die neue Version in den Produktion Bereich verschieben wollte. Ich habe das jetzt manuell gefixt, und eine Issue eröffnet: https://github.com/fhem/uba/issues/12. Ich schau mir das an.

Florian_GT · 02 Mai 2020, 15:48:55

Zitat von: Gisbert am 29 April 2020, 10:36:01
Hallo Markus,

ich hab mal verbose auf 5 hochgedreht und ein update des Moduls (zum Runterladen von Daten) angestoßen:

Das logfile sagt folgendes:
Code Auswählen Erweitern
2020.04.29 10:29:54 3: Getting UBA data from URL: https://www.umweltbundesamt.de/api/air_data/v2/airquality/json?date_from=2020-04-27&time_from=18&date_to=2020-04-29&time_to=10&station=1134&lang=de 2020.04.29 10:29:55 5: JSON data: $VAR1 = { 'data' => { '1134' => { '2020-04-27 17:00:00' => [ '2020-04-27 18:00:00', 2, 1, [ 1, 36, 2, '2.000' ] ] } }, 'count' => 1, 'request' => { 'lang' => 'de', 'date_to' => '2020-04-29', 'datetime_to' => '2020-04-29 09:00:00', 'time_from' => '18:00:00', 'station' => '1134', 'datetime_from' => '2020-04-27 17:00:00', 'date_from' => '2020-04-27', 'time_to' => '10:00:00', 'index' => 'id' }, 'indices' => { 'data' => { 'station id' => { 'date start' => { '3' => [ 'component id', 'value', 'index', 'y-value' ], '1' => 'total index', '2' => 'data incomplete' }, 'date start (CET)' => [ 'date end (CET)' ] } } } }; 2020.04.29 10:29:55 4: ------------------------------- 2020.04.29 10:29:55 4: x Array Key: 2020-04-27 17:00:00 2020.04.29 10:29:55 5: -x Array Dump: $VAR1 = [ '2020-04-27 18:00:00', 2, 1, [ 1, 36, 2, '2.000' ] ]; 2020.04.29 10:29:55 4: -1 Luftqualitaetsindex: 2 2020.04.29 10:29:55 4: -1 Luftqualitaetsindex_name: mäßig 2020.04.29 10:29:55 4: -2 Daten vollständig: 1 2020.04.29 10:29:55 4: -0 DateTime: 2020-04-27 18:00:00 +0100 2020.04.29 10:29:55 4: -0 DateTime (timestamp): 1588006800 2020.04.29 10:29:55 4: -0 LastUpdate (timestamp): 1588006800 2020.04.29 10:29:55 4: Skip this reading. It should be already in database. 2020.04.29 10:29:55 3: UBA: Done loading all data
Das sieht eigentlich alles gut aus, liegt dann vermutlich an der Station, die keine neuem Daten bereitstellt.

Viele Grüße Gisbert

So ist es. Der letzte Datensatz ist vom '2020-04-27 17:00:00'.

Florian_GT · 02 Mai 2020, 15:51:06

Zitat von: Florian_GT am 08 April 2020, 22:20:05
Hallo zusammen,

nach langer Testzeit würde ich den Development State nun in Produktion heben.

Gruß Florian

Ich habe die aktuelle Version jetzt im Master, also im Git Branch für den produktiven Betrieb. URL: https://raw.githubusercontent.com/fhem/uba/master/controls_uba.txt

Bitte den development Branch nur Nutzen, wenn ihr auch als Beta Tester bei der Entwicklung helfen wollt.

Florian_GT · 02 Mai 2020, 15:54:27

Zitat von: Florian_GT am 25 Januar 2020, 13:18:36
Hallo zusammen,

Ich habe vor einiger Zeit die Betreuung des Moduls Airquality übernommen. Ich habe schon vor einiger Zeit dieses Module in zwei einzelne Module getrennt. Der Grund, weil es Grundlegend zwei unterschiedliche Ämter und Daten sind. Die Entwicklung ist so einfacher. Alles wird getrennt auseinandergehalten.

Ihr müsst also das alte Airquality Module im FHEM Ordner löschen!

um die Daten des Umwelt Bundesamtes im FHEM Verfügbar zu machen, stelle ich das Module UBA zur Verfügung.

ich habe die neue Version unter https://github.com/fhem/uba/tree/master veröffentlicht. Zur Verwendung im Fhem Update könnt ihr gerne https://raw.githubusercontent.com/fhem/uba/master/controls_uba.txt einbinden.

Wer mir bei der Entwicklung als Beta Tester helfen möchte, kann dies über den development branch unter https://github.com/fhem/uba/tree/development

Definition:
Code Auswählen Erweitern
defmod <DeviceName> uba <StationID>
Code Auswählen Erweitern
defmod Luftdaten uba 1397

Hinweise:

Achtung! Die StationID hat sich geändert. Die neue StationID bekommt ihr auf https://www.umweltbundesamt.de/daten/luft/luftdaten/luftqualitaet wenn ihr euch die URL von dem CSV Export anschaut. Hier wird nur die ID herausgefunden.
Die Daten werden alle 3600 Sekunden abgerufen. Bei Problemen mit der Schnittstelle erhöht das Module diese Zeit bis wieder alles ok ist.
Initial werden beim erstellen des Moduls Daten bis 30 Tage zurück geladen und in eure Datenbank importiert, danach werden die Daten nur so weit zurück abgefragt wie notwendig (Anhand .lastUpdate).

Meine Konfiguration sieht aktuell so aus:
Code Auswählen Erweitern
################### # UMWELTBUNDESAMT # ################### define uba uba 1122 setuuid uba 5d8e9915-f33f-1a24-ff43-33fe2e0830a28d87 attr uba alias Umweltbundesamt - Airquality attr uba showTimeReadings 1 attr uba group Airquality attr uba room Info attr uba icon rc_INFO2

Danke und Gruß Florian

Wscheff · 13 November 2020, 19:13:45

Hi.
hier wurde lange nichts mehr geschrieben.
Ich wollte mal nachfragen, ob derzeit Daten abgerufen werden können und das Modul noch aktiv ist?

Gruss
Ws

KölnSolar · 13 November 2020, 19:49:12

Zitathier wurde lange nichts mehr geschrieben

was ein gutes Zeichen ist. Läuft halt problemlos...

Wscheff · 13 November 2020, 22:12:23

Zitat von: KölnSolar am 13 November 2020, 19:49:12
was ein gutes Zeichen ist. Läuft halt problemlos...

Sehr gut. Danke für die Rückmeldung.
Ich bräuchte ein wenig Nachhilfe, wie ich die Id der Station herausfinde. Mit der DEXX123 geht es ja nicht, zumindest bei mir. Ich habe dann die Csv geladen, dort finde ich aber auch nur diese Id.
Ich habe aber verstanden, dass ich 4 Ziffern brauche (zB 1387 geht)

Mein csv Link sieht so aus:

Code Auswählen


https://www.umweltbundesamt.de/api/air_data/v2/measures/csv?date_from=2020-09-22&time_from=12&date_to=2020-09-22&time_to=12&data%5B0%5D%5Bco%5D=1&data%5B0%5D%5Bsc%5D=1&data%5B0%5D%5Bst%5D=353&lang=de

KölnSolar · 13 November 2020, 23:26:12

irgendwie ist der Link komisch. Ich glaub Du warst unter dem Reiter "Stationen". Du musst unter "Luftqualität", dann die gewünschte Station auswählen und dann findet sich in dem Link für den Datendownload ....station=4711.....