Neus Modul 98_rssFeed - Abrufen von RSS News-Feeds

[stewen]

Hallo,
ich würde gerne das Modul mit dem Ticker von "Domain Factory" nutzen. Leider klappt es nicht, die Inhalte abzurufen. Die Nachrichten werden einfach nirgends dargestellt. Könnte das bitte mal jemand testen ob das an mir (bzw. meinem FHEM und den lokalen Einstellungen) oder an df liegt? Die URL des Feeds lautet: http://status.df.eu/rdf.xml

Vielen Dank im Voraus!
Stephan

[Benni]

Hallo,
ich würde gerne das Modul mit dem Ticker von "Domain Factory" nutzen. Leider klappt es nicht, die Inhalte abzurufen. Die Nachrichten werden einfach nirgends dargestellt. Könnte das bitte mal jemand testen ob das an mir (bzw. meinem FHEM und den lokalen Einstellungen) oder an df liegt? Die URL des Feeds lautet: http://status.df.eu/rdf.xml

Hallo Stephan,

sorry, aber das liegt (leider) am Modul!

Bei RSS im rdf-Format scheinen die einzelnen Artikel (<item>) nicht innerhalb der <channel><items>-Struktur definiert zu sein. Dort gibt es lediglich einen (leeren) Ressource-Verweis und die Artikel selbst sind dann als solche außerhalb von <channel> aufgeführt.
Das ist so im Modul nicht behandelt.

Mal sehen, ob und wann ich dazu komme, da was zu machen. Vielleicht stelle ich das Modul besser gleich auf Verwendung eines bestehenden rss-Parser-Moduls um. Muss mal schauen, was es da so gibt.

gb#

[stewen]

Hi Benni, danke für die schnelle Antwort und deine bisherige Arbeit. Dann warte ich mal ab

Gruß
Stephan

[fremitus]

Hallo zusammen,

leider gelingt es mir nicht, den WDR rss Feed zu aktivieren. Habe diverse Einstellungen ausprobiert und komme leider nicht weiter. Hier meine Daten:

Code Auswählen Erweitern

define wdrTicker rssFeed https://www1.wdr.de/nachrichten/westfalen-lippe/uebersicht-westfalen-lippe-100.feed
attr wdrTicker rfAllReadingsEvents 1
attr wdrTicker rfDisplayTickerReadings 0
attr wdrTicker rfEncode UTF-8
attr wdrTicker rfMaxLines 20
attr wdrTicker rfReadings title,description,pubDate
attr wdrTicker verbose 4

Hier ein paar Logfile Infos:

Code Auswählen Erweitern


wdrTicker: Trying to convert xml to array...
2018.08.28 23:18:27 4: wdrTicker: ERROR: no valid feed data available after conversion

Das Logfile zeigt auch an:

Code Auswählen Erweitern


wdrTicker: https://www1.wdr.de/nachrichten/westfalen-lippe/uebersicht-westfalen-lippe-100.feed
2018.08.28 23:18:24 5: wdrTicker: <?xml version="1.0" encoding="UTF-8"?>
<feed xmlns="http://www.w3.org/2005/Atom" xmlns:app="http://www.wdr.de/rss/1.0/modules/app/1.0/" xmlns:dc="http://purl.org/dc/elements/1.1/">
  <title>Westfalen-Lippe - WDR.de</title>
  <link rel="alternate" type="text/html" href="https://www1.wdr.de/nachrichten/westfalen-lippe/uebersicht-westfalen-lippe-100~_type-feed.html" />
  <link rel="self" href="https://www1.wdr.de/nachrichten/westfalen-lippe/uebersicht-westfalen-lippe-100~_type-feed.feed" />
  <updated>2018-08-28T20:46:00Z</updated>
  <dc:date>2018-08-28T20:46:00Z</dc:date>
  <entry>
    <title>Studie: Gute Kita-Betreuung hängt vom Wohnort ab</title>
    <link rel="alternate" href="https://www1.wdr.de/nachrichten/westfalen-lippe/bertelsmann-studie-zu-fruehkindlicher-bildung-in-kitas-100.html" />.......


Mein Problem ist, es werden keine Schlagzeilen angezeigt ...
Ich sehe nur:

Code Auswählen Erweitern


READINGS:
     2018-08-28 23:59:42   gzippedFeed     0
     2018-08-28 23:59:42   state           Tue Aug 28 23:59:42 2018


Würde mich über eine Antwort freuen,

Gruss

Peer

[Benni]

Hallo Peer,

sorry, aber ich fürchte auch für dich heißt es erst mal abwarten.
Feeds im Atom-Format werden derzeit ebenfalls nicht vollständig unterstützt.

Ich hoffe, dass ich demnächst genügend Luft habe das endlich mal in Angriff zu nehmen.


gb#

Nachtrag: Eventuell kannst du dir ja so lange mit einem Online-Feed-Converter weiterhelfen. Auf die Schnelle habe ich folgenden gefunden:

https://feedmix.novaclic.com/atom2rss.php

Wenn du dort den WDR-RSS-Link angibst erhältst du folgende URL, die den Feed dann in RSS2.0 Konvertiert zurück liefert und eigentlich auch mit dem Modul funktionieren müsste (ungetestet) funktioniert (getestet!  ):

https://feedmix.novaclic.com/atom2rss.php?source=https%3A%2F%2Fwww1.wdr.de%2Fnachrichten%2Fwestfalen-lippe%2Fuebersicht-westfalen-lippe-100.feed

Hier noch das list meines Test-Devices:

Code Auswählen Erweitern


Internals:
   CFGFN     
   DEF        https://feedmix.novaclic.com/atom2rss.php?source=https%3A%2F%2Fwww1.wdr.de%2Fnachrichten%2Fwestfalen-lippe%2Fuebersicht-westfalen-lippe-100.feed 3600
   INTERVAL   3600
   NAME       newsWdrTest
   NEXTUPDATE Wed Aug 29 06:35:55 2018
   NOTIFYDEV  global
   NR         933983
   NTFY_ORDER 50-newsWdrTest
   STATE      Wed Aug 29 05:35:55 2018
   TYPE       rssFeed
   URL        https://feedmix.novaclic.com/atom2rss.php?source=https%3A%2F%2Fwww1.wdr.de%2Fnachrichten%2Fwestfalen-lippe%2Fuebersicht-westfalen-lippe-100.feed
   .attraggr:
   .attrminint:
   Helper:
     DBLOG:
       state:
         logdb:
           TIME       1535513726.61003
           VALUE      defined
   OLDREADINGS:
   READINGS:
     2018-08-29 05:35:55   .headlines      +++ Auslosung: AEK Athen, Young Boys Bern und Ajax erreichen die Champions League +++
+++ Borussia Dortmund verpflichtet Wunschstürmer Pablo Alcacer +++
+++ Staatsanwaltschaft erhebt Anklage nach Spielhallenbrand in Gronau +++
+++ Kampfmittelräumer graben Metall aus, Bauarbeiten stocken +++
+++ Bauarbeiten für den Lückenschluss der B67n gestartet +++
+++ Jahresbilanz Bethel: So viele Spenden wie noch nie +++
+++ Deutschland-Achter auf Goldkurs +++
+++ Deutscher Nachbarschaftspreis geht nach Castrop-Rauxel - den Landessieg holt Duisburg-Marxloh +++
+++ Borussia Mönchengladbach bestreitet Testspiel gegen den VfL Bochum +++
+++ Aus Fenster gefallen: Tödlicher Unfall auf Mallorca +++
+++ Falsche Tierliebe bei wilden Junghasen: Siegerländer Wildtierhilfe gibt Tipps +++
+++ Suche nach Problemlösung für Münsters Bahnhofsviertel +++
+++ Small Planet: Flieger nach 52 Stunden in Paderborn erwartet +++
+++ Auf Strafbefehl folgt Kündigung gegen Schulleiter vom Hildegardis-Gymnasium wegen Besitzes von Jugendpornografie +++
+++ Bombe im Norden Münsters entschärft +++
     2018-08-29 05:35:55   f_title         Westfalen-Lippe - WDR.de
     2018-08-29 05:35:55   gzippedFeed     0
     2018-08-29 05:35:55   n00_title       Auslosung: AEK Athen, Young Boys Bern und Ajax erreichen die Champions League
     2018-08-29 05:35:55   n01_title       Borussia Dortmund verpflichtet Wunschstürmer Pablo Alcacer
     2018-08-29 05:35:55   n02_title       Staatsanwaltschaft erhebt Anklage nach Spielhallenbrand in Gronau
     2018-08-29 05:35:55   n03_title       Kampfmittelräumer graben Metall aus, Bauarbeiten stocken
     2018-08-29 05:35:55   n04_title       Bauarbeiten für den Lückenschluss der B67n gestartet
     2018-08-29 05:35:55   n05_title       Jahresbilanz Bethel: So viele Spenden wie noch nie
     2018-08-29 05:35:55   n06_title       Deutschland-Achter auf Goldkurs
     2018-08-29 05:35:55   n07_title       Deutscher Nachbarschaftspreis geht nach Castrop-Rauxel - den Landessieg holt Duisburg-Marxloh
     2018-08-29 05:35:55   n08_title       Borussia Mönchengladbach bestreitet Testspiel gegen den VfL Bochum
     2018-08-29 05:35:55   n09_title       Aus Fenster gefallen: Tödlicher Unfall auf Mallorca
     2018-08-29 05:35:55   n10_title       Falsche Tierliebe bei wilden Junghasen: Siegerländer Wildtierhilfe gibt Tipps
     2018-08-29 05:35:55   n11_title       Suche nach Problemlösung für Münsters Bahnhofsviertel
     2018-08-29 05:35:55   n12_title       Small Planet: Flieger nach 52 Stunden in Paderborn erwartet
     2018-08-29 05:35:55   n13_title       Auf Strafbefehl folgt Kündigung gegen Schulleiter vom Hildegardis-Gymnasium wegen Besitzes von Jugendpornografie
     2018-08-29 05:35:55   n14_title       Bombe im Norden Münsters entschärft
     2018-08-29 05:35:55   preparedLines   15
     2018-08-29 05:35:55   state           Wed Aug 29 05:35:55 2018
Attributes:
   DbLogExclude .*
   rfDisabledText Dieser Nachrichten-Feed ist derzeit leider deaktiviert
   rfEncode   utf8
   rfMaxLines 15
   rfReadings title,imageURL,encodedContent
   rfTickerChars +++



[fremitus]

Hallo Benni,

danke! Die Antwortuhrzeit kommentiere ich mal nicht ... es sei denn du verweilst gerade irgendwo Richtung Westen mit einem Ozean dazwischen....

Ich probiere das aus und berichte.

Gruss

Peer

[fremitus]

Hallo Benni,

klappt prima mit dem "Workaround"....danke nochmals...nun kann ich auch in der Küche Schlagzeilen lesen ...

Als nächster sind dann Twitter Nachrichten geplant, mal sehen, wie ich das integriere..

Gruss

Peer

[mrbreil]

Arbeitet dieses Modul eigentlich nicht blockierend?

Gruß Christian

[Benni]

Arbeitet dieses Modul eigentlich nicht blockierend?

Nein, bisher nicht!

gb#

[Pete37]

Hallo Benni,

vielen Dank schon mal für das Modul - es hat mir bisher sehr gute Dienste erwiesen. Bis ich feststellen musste, dass es nicht mehr funktioniert. Offenbar hat die NASA ihren SpotTheStation-Feed auch auf Atom umgestellt. Ich habe jetzt mal den online-Konvertierer ausprobiert, aber da kommt nix raus. Als Headlines werden nur Hash-Werte angezeigt. 

Gibt es noch was, dass ich selber probieren kann? Oder gilt es mich in die Reihe der Geduldigen zu stellen?

Vielen Dank,
Pete37

[Benni]

Offenbar hat die NASA ihren SpotTheStation-Feed auch auf Atom umgestellt.

Hast du mal den Link zum Feed?

[Pete37]

das wäre der originale:

Code Auswählen Erweitern

https://spotthestation.nasa.gov/sightings/xml_files/Germany_None_Erlangen.xml

und der konvertierte:

Code Auswählen Erweitern

https://feedmix.novaclic.com/atom2rss.php?source=https%3A%2F%2Fspotthestation.nasa.gov%2Fsightings%2Fxml_files%2FGermany_None_Erlangen.xml

[Benni]

Hmm ....

Sieht für mich beides nach rss aus! 

Muss heute Abend mal schauen, was das rssFeed-Modul bei mir daraus macht.

Gruß Benni.

[Pete37]

Sieht für mich beides nach rss aus!

Schon, ja. wobei im Header das hier steht:

Code Auswählen Erweitern

xmlns:atom="http://www.w3.org/2005/Atom" version="2.0"

Und bei mir kommt halt kein Ergebnis mehr raus raus. Am 2019-05-25 hat es das letzte Mal funktioniert, seit dem nicht mehr. Leider habe ich keine Rohdaten von Damals zum Vergleich. Aber ich habe letzlich Deine Beispiel-Implementierung verwendet. Damit hatte es super funktioniert!

Gruß,
Pete37

[Benni]

Habe mir das gestern mal noch angeschaut...

Die Konvertierung mittels atom2rss scheint ja zu funktionieren, allerdings führen die in der description enthaltenen <br/> anscheinend dazu, dass die Beschreibung dadurch ein Hash wird.
Ich dachte, das könnte man durch eine eigene rfCustomTextPrepFn abfangen, die greift aber leider erst zu spät für eine einfache Ersetzung. Man müsste dort schätzungsweise den Hash wieder in einen String wandeln.... dazu hatte ich aber auf die Schnelle keine Zeit mehr.

Allerdings habe ich mittlerweile schon damit begonnen, den Code des Moduls umzustellen.
Sobald ich was funktionierendes habe, werde ich hier eine Testversion veröffentlichen. Ich weiß im Moment nicht so genau, wie ich das mit der Ablösung handeln werden, da das neue Modul schätzungsweise nicht 100%-ig abwärtskompatibel sein wird. Aber bis dahin ist es auch noch ein bisschen.

Gruß Benni.