HTTPMod funktionier nach Website-Stillstand nicht mehr

[Superposchi]

Erstmal Danke für die die mir beim Aufbau der Abfrage voriges Mal geholfen habe.

Die Webseite von der ich die DEL-Tabelle ziehe war einige Wochen nicht gepflegt. Nicht down, aber nicht aktualisiert worden. Nun, nachdem eine Aktualisierung erfolgt ist werden die Daten aber nicht wieder abgerufen.

Soweit ich das sehe hat sich am Quelltext nichts verändert. Auch ein Reread bringt nichts.

Anbei das List des Device:

Code Auswählen Erweitern

Internals:
   BUSY       0
   DEF        https://www.hockeyweb.de/del/tabelle-spielplan 86400
   FUUID      63fa6e1f-f33f-7706-d2b8-5a6af2677313b7ce
   FVERSION   98_HTTPMOD.pm:0.290460/2024-07-28
   Interval   14400
   MainURL    https://www.hockeyweb.de/del/tabelle-spielplan
   ModuleVersion 4.2.0 - 11.8.2023
   NAME       hockey_table
   NOTIFYDEV  global
   NR         166
   NTFY_ORDER 50-hockey_table
   STATE      Fischtown Pinguins
   TYPE       HTTPMOD
   eventCount 11
   value     
   CompiledRegexes:
   HttpUtils:
     NAME       
     addr       https://www.hockeyweb.de:443
     auth       0
     code       403
     compress   1
     conn       
     data       
     displayurl https://www.hockeyweb.de/del/tabelle-spielplan
     header     
     host       www.hockeyweb.de
     httpheader HTTP/1.1 403 Forbidden
Date: Fri, 18 Oct 2024 07:03:27 GMT
Content-Type: text/html; charset=UTF-8
Connection: close
X-Frame-Options: SAMEORIGIN
Referrer-Policy: same-origin
Cache-Control: max-age=15
Expires: Fri, 18 Oct 2024 07:03:42 GMT
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=VVJ%2FY52PpS8QltyPO0dsGMbaU8w81pzCXqSkYnsa4UCZ5dUbHTEh4DzUX2dTvogA3%2F%2FHncBy0eCfhrd1jGXcQj%2Br%2FlI6yxUjQKsG33ITlVZgX8MTvjLJZ0q70duZGaPL5Mo%3D"}],"group":"cf-nel","max_age":604800}
NEL: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Vary: Accept-Encoding
Server: cloudflare
CF-RAY: 8d46ab2f1a611e62-FRA
Content-Encoding: gzip
     httpversion 1.0
     hu_blocking 0
     hu_filecount 1
     hu_port    443
     hu_portSfx
     ignoreredirects 1
     loglevel   4
     path       /del/tabelle-spielplan
     protocol   https
     redirects  0
     timeout    30
     url        https://www.hockeyweb.de/del/tabelle-spielplan
     sslargs:
   QUEUE:
   READINGS:
     2024-10-02 00:21:23   goals-1         20 : 11
     2024-10-02 00:21:23   goals-10        14 : 17
     2024-10-02 00:21:23   goals-11        17 : 25
     2024-10-02 00:21:23   goals-12        13 : 20
     2024-10-02 00:21:23   goals-13        9 : 22
     2024-10-02 00:21:23   goals-14        12 : 20
     2023-03-05 16:27:02   goals-15        125 : 225
     2024-10-02 00:21:23   goals-2         12 : 6
     2024-10-02 00:21:23   goals-3         19 : 15
     2024-10-02 00:21:23   goals-4         16 : 9
     2024-10-02 00:21:23   goals-5         14 : 11
     2024-10-02 00:21:23   goals-6         18 : 12
     2024-10-02 00:21:23   goals-7         17 : 14
     2024-10-02 00:21:23   goals-8         12 : 11
     2024-10-02 00:21:23   goals-9         7 : 7
     2024-10-02 00:21:23   goalsDiff-1     9
     2024-10-02 00:21:23   goalsDiff-10    -3
     2024-10-02 00:21:23   goalsDiff-11    -8
     2024-10-02 00:21:23   goalsDiff-12    -7
     2024-10-02 00:21:23   goalsDiff-13    -13
     2024-10-02 00:21:23   goalsDiff-14    -8
     2024-08-29 21:33:55   goalsDiff-15    0
     2024-10-02 00:21:23   goalsDiff-2     6
     2024-10-02 00:21:23   goalsDiff-3     4
     2024-10-02 00:21:23   goalsDiff-4     7
     2024-10-02 00:21:23   goalsDiff-5     3
     2024-10-02 00:21:23   goalsDiff-6     6
     2024-10-02 00:21:23   goalsDiff-7     3
     2024-10-02 00:21:23   goalsDiff-8     1
     2024-10-02 00:21:23   goalsDiff-9     0
     2024-10-02 00:21:23   logo-1          https://appdb.hockeyweb.de/v2/teamLogos/logo_6_cell.png
     2024-10-02 00:21:23   logo-10         https://appdb.hockeyweb.de/v2/teamLogos/logo_30_cell.png
     2024-10-02 00:21:23   logo-11         https://appdb.hockeyweb.de/v2/teamLogos/logo_15_cell.png
     2024-10-02 00:21:23   logo-12         https://appdb.hockeyweb.de/v2/teamLogos/logo_17_cell.png
     2024-10-02 00:21:23   logo-13         https://appdb.hockeyweb.de/v2/teamLogos/logo_5_cell.png
     2024-10-02 00:21:23   logo-14         https://appdb.hockeyweb.de/v2/teamLogos/logo_12_cell.png
     2024-10-02 00:21:23   logo-2          https://appdb.hockeyweb.de/v2/teamLogos/logo_66_cell.png
     2024-10-02 00:21:23   logo-3          https://appdb.hockeyweb.de/v2/teamLogos/logo_1_cell.png
     2024-10-02 00:21:23   logo-4          https://appdb.hockeyweb.de/v2/teamLogos/logo_33_cell.png
     2024-10-02 00:21:23   logo-5          https://appdb.hockeyweb.de/v2/teamLogos/logo_643_cell.png
     2024-10-02 00:21:23   logo-6          https://appdb.hockeyweb.de/v2/teamLogos/logo_16_cell.png
     2024-10-02 00:21:23   logo-7          https://appdb.hockeyweb.de/v2/teamLogos/logo_4_cell.png
     2024-10-02 00:21:23   logo-8          https://appdb.hockeyweb.de/v2/teamLogos/logo_9_cell.png
     2024-10-02 00:21:23   logo-9          https://appdb.hockeyweb.de/v2/teamLogos/logo_3_cell.png
     2024-10-02 00:21:23   matches-1       5
     2024-10-02 00:21:23   matches-10      5
     2024-10-02 00:21:23   matches-11      5
     2024-10-02 00:21:23   matches-12      5
     2024-10-02 00:21:23   matches-13      5
     2024-10-02 00:21:23   matches-14      4
     2024-08-29 21:33:55   matches-15      0
     2024-10-02 00:21:23   matches-2       5
     2024-10-02 00:21:23   matches-3       5
     2024-10-02 00:21:23   matches-4       3
     2024-10-02 00:21:23   matches-5       5
     2024-10-02 00:21:23   matches-6       4
     2024-10-02 00:21:23   matches-7       4
     2024-10-02 00:21:23   matches-8       4
     2024-10-02 00:21:23   matches-9       3
     2024-10-02 00:21:23   name-1          ERC Ingolstadt
     2024-10-02 00:21:23   name-10         Schwenninger Wild Wings
     2024-10-02 00:21:23   name-11         Kölner Haie
     2024-10-02 00:21:23   name-12         Straubing Tigers
     2024-10-02 00:21:23   name-13         Düsseldorfer EG
     2024-10-02 00:21:23   name-14         Iserlohn Roosters
     2024-08-29 21:33:55   name-15         Löwen Frankfurt
     2024-10-02 00:21:23   name-2          Fischtown Pinguins
     2024-10-02 00:21:23   name-3          Eisbären Berlin
     2024-10-02 00:21:23   name-4          EHC Red Bull München
     2024-10-02 00:21:23   name-5          Löwen Frankfurt
     2024-10-02 00:21:23   name-6          Nürnberg Ice Tigers
     2024-10-02 00:21:23   name-7          Augsburger Panther
     2024-10-02 00:21:23   name-8          Grizzlys Wolfsburg
     2024-10-02 00:21:23   name-9          Adler Mannheim
     2024-10-02 00:21:23   platz-1         1
     2024-10-02 00:21:23   platz-10        10
     2024-10-02 00:21:23   platz-11        11
     2024-10-02 00:21:23   platz-12        12
     2024-10-02 00:21:23   platz-13        13
     2024-10-02 00:21:23   platz-14        14
     2024-08-29 21:33:55   platz-15        14
     2024-10-02 00:21:23   platz-2         2
     2024-10-02 00:21:23   platz-3         3
     2024-10-02 00:21:23   platz-4         4
     2024-10-02 00:21:23   platz-5         5
     2024-10-02 00:21:23   platz-6         6
     2024-10-02 00:21:23   platz-7         7
     2024-10-02 00:21:23   platz-8         8
     2024-10-02 00:21:23   platz-9         9
     2024-10-02 00:21:23   points-1        13
     2024-10-02 00:21:23   points-10       5
     2024-10-02 00:21:23   points-11       5
     2024-10-02 00:21:23   points-12       3
     2024-10-02 00:21:23   points-13       2
     2024-10-02 00:21:23   points-14       0
     2024-08-29 21:33:55   points-15       0
     2024-10-02 00:21:23   points-2        11
     2024-10-02 00:21:23   points-3        10
     2024-10-02 00:21:23   points-4        9
     2024-10-02 00:21:23   points-5        9
     2024-10-02 00:21:23   points-6        8
     2024-10-02 00:21:23   points-7        7
     2024-10-02 00:21:23   points-8        6
     2024-10-02 00:21:23   points-9        5
   REQUEST:
     context    reading
     data       
     header     
     ignoreredirects 0
     num        unknown
     retryCount 0
     type       update
     url        https://www.hockeyweb.de/del/tabelle-spielplan
Attributes:
   alias      DEL Tabelle
   enableControlSet 1
   group      Informationen
   icon       Wunderlist
   preProcessRegex s/<thead>.*<\/thead>//s
   reading01Name name
   reading01RegOpt g
   reading01Regex <td class="hw-table__team__name">(.*)<\/td>
   reading02Name matches
   reading02RegOpt g
   reading02Regex <td class="hw-table__team__matches">(.*)<\/td>
   reading03Name points
   reading03RegOpt g
   reading03Regex <td class="hw-table__team__points">(.*)<\/td>
   reading04Name goals
   reading04RegOpt g
   reading04Regex <td class="hw-table__team__goals"><span>(.*)<\/span><\/td>
   reading05Name goalsDiff
   reading05RegOpt g
   reading05Regex <td class="hw-table__team__goalsDiff">(.*)<\/td>
   reading06Name platz
   reading06RegOpt g
   reading06Regex <td class="hw-table__team__place">(.*)<\/td>
   reading07Name logo
   reading07RegOpt g
   reading07Regex <td class="hw-table__team__logo"><img src="(.*)"><\/td>
   readingOExpr $val =~ s/<[\d\D]+>//;;$val
   room       Information->Hockey
   stateFormat name-2
   timeout    30
   userattr   .*Vielleicht findet ja jemand erfahreneres einen Grund warum die Aktualisierung nicht mehr geht.

[passibe]

Die scheinen Requests von "Bots" zu blockieren. Also alles, was nicht nach Browser aussieht, wird geblockt (deshalb auch 403).

Habe eben getestet, auf macOS konnte ich das mit curl 8.7.1 einfach umgehen indem ich selbst einen validen Browser-User-Agent angefügt habe – auf Debian mit curl 7.88.1 hat das aber nicht funktioniert.

Code Auswählen Erweitern

curl https://www.hockeyweb.de/del/tabelle-spielplan
curl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15" https://www.hockeyweb.de/del/tabelle-spielplan
Auch in httpmod den User-Agent zu ändern hat bei mir leider nichts gebracht:

Code Auswählen Erweitern

attr hockey_table requestHeader User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15
Keine Ahnung was für Zaubereien Cloudflare da macht bzw. wieso curl auf MacOS das umgehen kann, auf Debian aber nicht.

Aktuell sieht das aber wohl eher schlecht aus. Alternative wäre, vielleicht irgendwas mit selenium o.ä. zu bauen, das einen Browser besser imitiert als curl/httpmod. Oder eine andere Datenquelle suchen ... Sportschau würde sich vermutlich anbieten: https://www.sportschau.de/live-und-ergebnisse/eishockey/deutschland-del/tabelle

[Wernieman]

Komisch .. Dein curl mit User-Agent vom Mac funktioniert auf meinem Linux System sehr wohl, getestet mit:
curl 7.81.0
curl 8.5.0
Andere curl-Versionen liegen mir nur aktuell nicht vor ...

Kann es eher sein, wenn man zu viel Abfragt? Hatte gleich mit Deinem User Agent verwendet.

[Superposchi]

Heute habe ich sicher einige Male Abgefragt, davor mehrere Tage gar nicht, da ich immer die Webseite direkt kontrolliert habe ob die aktualisiert wurde.

Ich warte mal bis Montag ab und melde mich dann ggf. zurück.

[passibe]

Dein curl mit User-Agent vom Mac funktioniert auf meinem Linux System sehr wohl

Interessant!
Habe es gerade noch mit einem anderen System probiert, von dem aus ich noch nie abgefragt hatte (Ubuntu, curl 8.5.0), da funktioniert es aber auch nicht.

Die Häufigkeit alleine ist es also nicht – da sind bestimmt noch andere Checks eingebaut. Kann z.B. auch daran liegen, dass das Ubuntu-System nicht von einer residential IP aus requested, sondern von Oracle Cloud.

[Wernieman]

Ich habe meine Private IP verwendet
@passible: kannst Du über eine andere IP Testen?

[passibe]

Mal aufgelistet:
Vodafone (residential IP):

• curl 8.7.1 (macOS) funktioniert
• curl 7.88.1 (Debian, x64) funktioniert nicht
• curl 7.74.0 (Debian, aarch64) funktioniert nicht

Telekom (residential IP):

• curl 8.7.1 (macOS) funktioniert
• curl 7.88.1 (Debian, x64) funktioniert nicht
• curl 7.88.1 (Debian, armv7l) funktioniert nicht

Oracle Cloud (nicht-residential IP):

• curl 8.7.1 (macOS) funktioniert
• curl 8.5.0 (Ubuntu, x64) funktioniert nicht

Der HTTP-Request ist dabei immer gleich, aber der SSL-Handshake scheint ein jeweils ein bisschen anders abzulaufen. Möglicherweise liegt es daran?

z.B. curl 8.5.0 auf Ubuntu:

Code Auswählen Erweitern

* Host www.hockeyweb.de:443 was resolved.
* IPv6: 2606:4700:20::681a:269, 2606:4700:20::ac43:444f, 2606:4700:20::681a:369
* IPv4: 104.26.3.105, 172.67.68.79, 104.26.2.105
*   Trying [2606:4700:20::681a:269]:443...
* Connected to www.hockeyweb.de (2606:4700:20::681a:269) port 443
* ALPN: curl offers h2,http/1.1
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: /etc/ssl/certs
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384 / X25519 / id-ecPublicKey
* ALPN: server accepted h2
* Server certificate:
*  subject: CN=hockeyweb.de
*  start date: Sep 24 09:16:20 2024 GMT
*  expire date: Dec 23 09:16:19 2024 GMT
*  subjectAltName: host "www.hockeyweb.de" matched cert's "*.hockeyweb.de"
*  issuer: C=US; O=Google Trust Services; CN=WE1
*  SSL certificate verify ok.
*   Certificate level 0: Public key type EC/prime256v1 (256/128 Bits/secBits), signed using ecdsa-with-SHA256
*   Certificate level 1: Public key type EC/prime256v1 (256/128 Bits/secBits), signed using ecdsa-with-SHA384
*   Certificate level 2: Public key type EC/secp384r1 (384/192 Bits/secBits), signed using ecdsa-with-SHA384
* using HTTP/2
* [HTTP/2] [1] OPENED stream for https://www.hockeyweb.de/del/tabelle-spielplan
* [HTTP/2] [1] [:method: GET]
* [HTTP/2] [1] [:scheme: https]
* [HTTP/2] [1] [:authority: www.hockeyweb.de]
* [HTTP/2] [1] [:path: /del/tabelle-spielplan]
* [HTTP/2] [1] [user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15]
* [HTTP/2] [1] [accept: */*]
> GET /del/tabelle-spielplan HTTP/2
> Host: www.hockeyweb.de
> User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15
> Accept: */*
>
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* old SSL session ID is stale, removing
< HTTP/2 403
< date: Sat, 19 Oct 2024 13:49:09 GMT
< content-type: text/html; charset=UTF-8
< content-length: 4524
< x-frame-options: SAMEORIGIN
< referrer-policy: same-origin
< cache-control: max-age=15
< expires: Sat, 19 Oct 2024 13:49:24 GMT
< report-to: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=YLWgReIcmLE%2BC%2BPBlVKvIhruTh971HglP7hRUuLXf%2FTTRUDvGyFvHY%2F1IdmiZJ9PXTEWDbPvlLvVrQ7tW8pAymV3IirlRY53jf8SpBCJnOYUFj8OnoebwJpuz%2Fb7ZFNsBVYKFSolCUd2dghATVM%3D"}],"group":"cf-nel","max_age":604800}
< nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
< server: cloudflare
< cf-ray: 8d513ad748f691d8-FRA
<
demgegenüber macOS:

Code Auswählen Erweitern

* Host www.hockeyweb.de:443 was resolved.
* IPv6: 2606:4700:20::681a:269, 2606:4700:20::681a:369, 2606:4700:20::ac43:444f
* IPv4: 104.26.2.105, 172.67.68.79, 104.26.3.105
*   Trying [2606:4700:20::681a:269]:443...
* Connected to www.hockeyweb.de (2606:4700:20::681a:269) port 443
* ALPN: curl offers h2,http/1.1
* (304) (OUT), TLS handshake, Client hello (1):
*  CAfile: /etc/ssl/cert.pem
*  CApath: none
* (304) (IN), TLS handshake, Server hello (2):
* (304) (IN), TLS handshake, Unknown (8):
* (304) (IN), TLS handshake, Certificate (11):
* (304) (IN), TLS handshake, CERT verify (15):
* (304) (IN), TLS handshake, Finished (20):
* (304) (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / AEAD-AES256-GCM-SHA384 / [blank] / UNDEF
* ALPN: server accepted h2
* Server certificate:
*  subject: CN=hockeyweb.de
*  start date: Sep 24 09:16:20 2024 GMT
*  expire date: Dec 23 09:16:19 2024 GMT
*  subjectAltName: host "www.hockeyweb.de" matched cert's "*.hockeyweb.de"
*  issuer: C=US; O=Google Trust Services; CN=WE1
*  SSL certificate verify ok.
* using HTTP/2
* [HTTP/2] [1] OPENED stream for https://www.hockeyweb.de/del/tabelle-spielplan
* [HTTP/2] [1] [:method: GET]
* [HTTP/2] [1] [:scheme: https]
* [HTTP/2] [1] [:authority: www.hockeyweb.de]
* [HTTP/2] [1] [:path: /del/tabelle-spielplan]
* [HTTP/2] [1] [user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15]
* [HTTP/2] [1] [accept: */*]
> GET /del/tabelle-spielplan HTTP/2
> Host: www.hockeyweb.de
> User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15
> Accept: */*
>
* Request completely sent off
< HTTP/2 200
< date: Sat, 19 Oct 2024 13:52:37 GMT
< content-type: text/html; charset=utf-8
< cache-control: must-revalidate, proxy-revalidate, private, no-cache, max-age=0
< server-timing:
< set-cookie: count=1; path=/; domain=www.hockeyweb.de
< access-control-allow-origin: *
< cf-cache-status: DYNAMIC
< report-to: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=%2Fig6FkvEUWvhUlZ9tmRrB9SWkJUTdQpvipPAoJui%2BLtTFoBvj7i19REajVwzVpLN4Rk00v64okasJBNORiF4YcpcfXi2ILyygCrPEf%2BiUEqRkbNVAR0X9CmZsoNCwgFXY7rbXEYRLKcF8e2QzDc%3D"}],"group":"cf-nel","max_age":604800}
< nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
< server: cloudflare
< cf-ray: 8d513fe5ebd39751-FRA
<

[passibe]

Nachtrag:

Habe eben noch curl-impersonate gefunden, damit funktioniert es (unter Debian, aber halt via Docker) ebenfalls:

Code Auswählen Erweitern

sudo docker run -it --rm --net host lwthiker/curl-impersonate:0.5-chrome curl_chrome107 -v https://www.hockeyweb.de/del/tabelle-spielplan
und

Code Auswählen Erweitern

*   Trying 2606:4700:20::ac43:444f:443...
* Connected to www.hockeyweb.de (2606:4700:20::ac43:444f) port 443 (#0)
* ALPN: offers h2
* ALPN: offers http/1.1
* Cipher selection: TLS_AES_128_GCM_SHA256,TLS_AES_256_GCM_SHA384,TLS_CHACHA20_POLY1305_SHA256,ECDHE-ECDSA-AES128-GCM-SHA256,ECDHE-RSA-AES128-GCM-SHA256,ECDHE-ECDSA-AES256-GCM-SHA384,ECDHE-RSA-AES256-GCM-SHA384,ECDHE-ECDSA-CHACHA20-POLY1305,ECDHE-RSA-CHACHA20-POLY1305,ECDHE-RSA-AES128-SHA,ECDHE-RSA-AES256-SHA,AES128-GCM-SHA256,AES256-GCM-SHA384,AES128-SHA,AES256-SHA
*  CAfile: /etc/ssl/certs/ca-certificates.crt
*  CApath: none
* ALPS, offering h2
* TLSv1.2 (OUT), TLS handshake, Client hello (1):
* TLSv1.2 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Unknown (25):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_128_GCM_SHA256
* ALPN: server accepted h2
* Server certificate:
*  subject: CN=hockeyweb.de
*  start date: Sep 24 09:16:20 2024 GMT
*  expire date: Dec 23 09:16:19 2024 GMT
*  subjectAltName: host "www.hockeyweb.de" matched cert's "*.hockeyweb.de"
*  issuer: C=US; O=Google Trust Services; CN=WE1
*  SSL certificate verify ok.
* Using HTTP2, server supports multiplexing
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* h2h3 [:method: GET]
* h2h3 [:authority: www.hockeyweb.de]
* h2h3 [:scheme: https]
* h2h3 [:path: /del/tabelle-spielplan]
* h2h3 [sec-ch-ua: "Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"]
* h2h3 [sec-ch-ua-mobile: ?0]
* h2h3 [sec-ch-ua-platform: "Windows"]
* h2h3 [upgrade-insecure-requests: 1]
* h2h3 [user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36]
* h2h3 [accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9]
* h2h3 [sec-fetch-site: none]
* h2h3 [sec-fetch-mode: navigate]
* h2h3 [sec-fetch-user: ?1]
* h2h3 [sec-fetch-dest: document]
* h2h3 [accept-encoding: gzip, deflate, br]
* h2h3 [accept-language: en-US,en;q=0.9]
* Using Stream ID: 1 (easy handle 0x7f78a0a70aa0)
> GET /del/tabelle-spielplan HTTP/2
> Host: www.hockeyweb.de
> sec-ch-ua: "Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"
> sec-ch-ua-mobile: ?0
> sec-ch-ua-platform: "Windows"
> upgrade-insecure-requests: 1
> user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36
> accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
> sec-fetch-site: none
> sec-fetch-mode: navigate
> sec-fetch-user: ?1
> sec-fetch-dest: document
> accept-encoding: gzip, deflate, br
> accept-language: en-US,en;q=0.9
>
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* old SSL session ID is stale, removing
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
< HTTP/2 200
< date: Sat, 19 Oct 2024 14:02:41 GMT
< content-type: text/html; charset=utf-8
< cache-control: must-revalidate, proxy-revalidate, private, no-cache, max-age=0
< set-cookie: count=1; path=/; domain=www.hockeyweb.de
< access-control-allow-origin: *
< cf-cache-status: DYNAMIC
< vary: accept-encoding
< server-timing: cfCacheStatus;desc="DYNAMIC"
< report-to: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=I29eqRuKu%2BHWbYcTNV8Zd24CKMwcQA1NMn6NCQG8GVWjXyk1wGJwD96aac4G%2F65BQUum5FgYUP9fAt6kKuYQ1tHzyXH%2FXkkXqcl%2FQGQz4BuYJBIg%2Ba6eZlt%2F3tqjyayWwaqsUbcqVImGEsgc%2Fzs%3D"}],"group":"cf-nel","max_age":604800}
< nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
< server: cloudflare
< cf-ray: 8d514ea7dd439752-FRA
< content-encoding: br
<

[Wernieman]

Was ist denn jetzt curl-impersonate?

[passibe]

A special build of curl that can impersonate the four major browsers: Chrome, Edge, Safari & Firefox. curl-impersonate is able to perform TLS and HTTP handshakes that are identical to that of a real browser.

Siehe https://github.com/lwthiker/curl-impersonate

Damit bestätigt sich meine Vermutung, dass – jedenfalls bei mir – curl unter Linux (und auch HTTPMOD) bestimmte Dinge (TLS Handshake/HTTP-Requests) anders machen, sodass Cloudflare das trotz gespooftem User-Agent erkennt.

[Superposchi]

Ganz ehrlich, ich verstehe schon seit mindestens 4 Beiträgen rein gar nichts mehr.

Ich muss mal schauen ob ich eine andere Quelle finde die konstant die gleichen Daten liefert. Hockeyweb war soweit ich es gesehen habe die einzigen die bisland nicht jedes Jahr am Design rumgeschraubt haben - zumindest bis jetzt.

[Wernieman]

@passibe

O.K. bei mir ist es ein Ubuntu, nur so unterschiedlich ist doch Ubuntu und Debian nicht .... man könnte sonst noch wget probieren ...

Aber es ändert ja nichts daran, das der http von FHEM ja auch Probleme hat ..