HttpUtils aktiviert ab sofort die Komprimierung

[rudolfkoenig]

Aus aktuellen Anlass habe ich die halb-implementierte Komprimierung in HttpUtils zu Ende programmiert und aktiviert. Falls jemand damit Probleme hat, bitte melden, bis zu einem Fix kann man als workaround "attr global httpcompress 0" setzen.

Anlass: ein Mitarbeiter eines Providers fuer ein Verlagshaus hat angerufen, und meldete, dass FHEM-Benutzer mit HTTPMOD beim Abruf des TV-Programms Datenverkehr im Terabyte-Bereich generieren, und man haette gerne das Volumen reduziert. Er sprach von einem Wiki-Artikel, den ich jetzt auf Anhieb nicht gefunden habe. Da sollte definitiv erwaehnt werden, dass ein Abruf der Seite alle 30 Sekunden sinnlos sei, und evtl durch eine Sperrung vom Anbieter allen FHEM-Benutzer schaden koennte.

Auch update profitiert etwas davon, allerdings werden die meisten Dateien noch unkomprimiert ausgeliefert, obwohl komprimiert bestellt wurden. Komprimiert wird fhem.pl, MAINTAINER.txt, alle .js Dateien aber nicht CHANGED, FHEM/*.pm, *.svg. Ich habe jetzt eine Weile ueber die Apache-Konfiguration und .htaccess Dateien meditiert, bin aber nicht klueger geworden. Wenn jemand noch Tipps fuer die Fehlersuche hat, bitte melden.

[Wernieman]

Bezüglich apache-config:

Könnte Dir anbieten, selber darüber zu schauen, nur müsste dafür die apache-config bekannt sein.

Habe aber bezüglich der Komprimierung schon positive/negative Erfahrungen gemacht ...

[CoolTux]

Klingt nach http://www.klack.de

Da ist gerade ein User dabei was zu programmieren. Leider recht umständlich mit mehreren HTTPMOD Devices und entsprechenden abrufen pro Sender. Bin aktuell dabei das gerade zu ziehen mit einem Masterdevice zu entwickeln was die Daten dann vor hält für die eigentlichen Senderdevices.



Grüße

[herrmannj]

ja, ja. Ein Terabyte hier, ein terabyte dort... mit der Zeit kommt über den Tag verteilt einiges zusammen.

Bieten die komplette Filme an ? Terabyte(s) an TV Daten ? echt jetzt ?

[CoolTux]

Wenn es das ist was ich denke dann bieten die TV Programminformationen an.
Es saugen aber auch eine Menge Leute und das mehrmals pro Minute 

[betateilchen]

Da sollte definitiv erwaehnt werden, dass ein Abruf der Seite alle 30 Sekunden sinnlos sei, und evtl durch eine Sperrung vom Anbieter allen FHEM-Benutzer schaden koennte.

Ich wäre sehr dafür, dass der Anbieter diese Sperre aktiviert. Dann hört der Schwachsinn mit den viel zu häufigen Aufrufen an irgendwelche URLs vielleicht endlich mal auf.

Auf debian.fhem.de habe ich aktuell pro Tag über 100.000 Abrufe der repository Infos, davon fast 10.000 von der gleichen IP. Das heißt, irgendjemand "prüft" alle 10 Sekunden, ob sich etwas geändert hat. Und das, obwohl das Repository nur einmal pro Tag aktualisiert wird.

[betateilchen]

Er sprach von einem Wiki-Artikel, den ich jetzt auf Anhieb nicht gefunden habe.

https://github.com/supernova1963/TVSender/wiki

(Vermutung)

[rudolfkoenig]

Könnte Dir anbieten, selber darüber zu schauen, nur müsste dafür die apache-config bekannt sein.

Danke fuers Angebot, ich habe dir eine Email mit Daten geschickt.

[CoolTux]

https://github.com/supernova1963/TVSender/wiki

(Vermutung)

Vermutung passt

[betateilchen]

Wieviel Volumen würde bei der Komprimierung von 1 TB TV-Programmdaten tatsächlich eingespart?

[rudolfkoenig]

Na das haengt vom Inhalt ab, der Herr sprach von 70kb statt 600kb bei der betroffenen Seite (wenn ich mich recht erinnere, war nicht ganz wach ), was mir allerdings bei gzip (das einzige, was wir z.Zt. unterstuetzen) schon etwas hoch vorkommt.

[betateilchen]

als statt 10 TB dann "nur" noch eines... 

[CoolTux]

Ich habe soeben meinen Teil für dieses Modul ins Git des Maintainers geladen. Es werden alle 30 min vom Master Device 2 URLs abgerufen und die Daten im $hash->{helper}{buf} vorgehalten. Nun müssen nur noch die Sender Devices sich die Daten vom Master holen und gut ist. Sollte also bald ruhiger werden.

[betateilchen]

Wozu muss man ein Fernsehprogramm alle 30 Minuten vom Server holen?

[CoolTux]

Das war jetzt erstmal eine grobe Richtung. Was weiß ich. Das kann man ja auch noch ändern. Ich kenne nicht mal den Inhalt der Daten. Wollte nur erstmal schnell das dem armen Jungen irgendwie geholfen wird.
Ich verwende das noch nicht mal