HTTPMOD komplett speichern / Twitter

[curt]

Wie fange ich an? Ok, vom Einzelnen auf das Gesamte.

* Gibt es eine Möglichkeit, testweise das blanke Ergebnis eines httpmod-Abrufes zu speichern?
Hintergrund: Wenn ich meinem Browser sage, dass er gefälligst keinerlei Skripte ausführen soll, kommt Twitter mit einer Zwischenseite, die ich aktiv klicken muss - danach kommt eine statische Ergebnisseite. Twitter reagiert also auf den Browser, auf dessen Möglichkeiten. Ich will nun herausfinden, ob/wie ich Twitter via httpmod überzeuge, mir das Ganze als statische Seite zu liefern.

* 99_twitter scheint es 2010 mal als inoffizielles Modul gegeben zu haben. Das ist tot, nehme ich an?

* Worum geht es mir eigentlich?
Es geht um Erdbeben, Katastrophen, Anschläge. Dafür haben die richtig großen Nachrichtenanbieter "breaking news". Leider gibt es das nicht als rss, das gibt es als jeweils eigenen Twitter-Account. Ein Beispiel wäre https://mobile.twitter.com/tagesschau_eil .

* Projektidee:
Es wird ausschließlich der neueste Eintrag gegriffen, nur der. Dann wird geschaut, ob er älter als ein Tag ist. Falls ja -> weg damit. Falls nein: Wir merken uns die Headline. Und ein Reading "true/false".

* Was würde gehen?
Abhängig davon, ob wir überhaupt leicht an die aktuelle Headline verschiedener Accounts kommen, kann man das mit httpmod umsetzen. Oder Benni springt an und sagt "geile Idee" - erhat ja schon rssFeed als Modul gebaut.

* Das Ziel?
Mir geht es ausschließlich um die erste Headline des Tages bei ca. 5 verschiedenen Twitteraccounts. Die gehören auf meinen Taktik-Screen bei FTUI. Und wenn es keine Headline an diesem Tag gibt, dann steht da halt nichts, dann ist Frieden.
Die URL habe ich, das ist noch das kleinste Problem.

Der gedankliche Ansatz lässt natürlich weitere Möglichkeiten außerhalb von Krise, klar. Aber alles andere ich nicht mein Thema.

* Ausschluss
Es geht ausdrücklich nicht darum, bei Twitter angemeldet zu sein, es geht um Nutzung, ohne angemeldeter Twitter-User zu sein. Es geht also auch nicht darum, in Twitter etwas zu posten.

@rudolfkoenig @StefanStrobel @Benni

[smurfix]

Twitter hat eine API. developer.twitter.com. Verwende dieses; notfalls musst du halt jemanden finden, der 99_twitter aktualisiert.

Vergiss httpmod, das ist dafür nicht gebaut, kann kein Javascript, und sobald Twitter einen Pups an seiner Seite ändert funktioniert nix mehr.

[mark79]

Ich würde so was per rss feed anbinden, wenn du nach Twitter rss googelst gibt es dort ein haufen Dienste die so etwas anbieten.

[smurfix]

Ich würde so was per rss feed anbinden, wenn du nach Twitter rss googelst gibt es dort ein haufen Dienste die so etwas anbieten.

Die verweisen aber fast alle auf twitrss.me.

2018-10-17: Twitter are rate limiting requests from TwitRSS.me, meaning it is effectively broken until I can think of a way round it. You can still run your own instance

d.h. man muss das selber betreiben. Der Code wäre auf https://github.com/ciderpunx/twitrssme zu finden. Aber: screen scraping ist nicht nachhaltig.

Eine Alternative ist https://queryfeed.net/, aber die updaten nur alle 3 Stunden (außer du zahlst $5/Monat). Dito dlvr.it ($8). fetchrss.com ist noch langsamer+teurer. twitterfeed.com ist tot. publicate.it hat gar kein Kostenlosangebot. Die restlichen Links sind Tutorials und so weiter.

Disclaimer: wenn ich was übersehen habe, lass es mich wissen.

[curt]

Ich bedanke mich für die Hinweise. Das TwitRSS.me und ähnlich tot sind, an der Haltestelle war ich schon selbst. Der Hinweis auf die API war gut. Inzwischen habe ich mich damit weiter belesen. Problem bei der Geschichte ist, dass ich passiver Twitter-Nutzer bin ...

Es gibt einige Perl-Module für Twitter. Manchmal sogar noch in "alte Version" und "neue Version". Nach deutschsprachigen Beispielen sucht man vergebens, man merkt, dass Twitter in Deutschland nicht die ganz große Rolle spielt. Die englischsprachigen Beispiele sind kaum brauchbar: Die sind so alt, das unklar ist, ob die überhaupt noch tun (so wie ab und an hier bei uns).

AnyEvent::Twitter::Stream macht was ganz interessantes: Das überwacht Streams in Echtzeit, also mit keep-alive. Das wäre wie Methode "Kanone auf Spatz - Spatz definitiv tot". Also das kommt nicht in Frage. Übrigens kann man da im KAT-Szenario tolle Dinge denken: Da die Tweeds mit Geo-Coding kommen, kann man auf Karte visualisieren, wo sich was anbahnt.

Aber zurück zur Idee. Ich habe mir die API-Doku überflogen. Da gibt es möglicherweise etwas, was meiner Idee sehr nahe kommt: Get Tweet timelines https://developer.twitter.com/en/docs/tweets/timelines/api-reference/get-statuses-user_timeline.html . Hinzu kommt, dass die da JSON ausliefern.

Notfalls habe ich für mich Accountdaten. Allerdings spielen die da mit OAuth (was auch immer das ist) herum, da braucht man noch Token. Ob man das für "Get Tweet timelines" braucht kann ich nicht sagen. Ich habe nichts getestet, ich wollte erst einmal meinen Zwischenstand mitteilen.

Und es kann ja auch sein, dass hier jemand ist, der viel fitter als ich ist und der sagt "ach, das ist doch eine Fingerübung".

In https://developer.twitter.com/en/docs/basics/authentication/overview/basic-auth.html wird übrigens erklärt, wie man mit curl deren Basic-Auth nutzt.

... es kann ja auch sein, dass hier jemand ist, der viel fitter als ich ist und der sagt "ach, das ist doch eine Fingerübung".