Erstmal Danke für die die mir beim Aufbau der Abfrage voriges Mal geholfen habe.
Die Webseite von der ich die DEL-Tabelle ziehe war einige Wochen nicht gepflegt. Nicht down, aber nicht aktualisiert worden. Nun, nachdem eine Aktualisierung erfolgt ist werden die Daten aber nicht wieder abgerufen.
Soweit ich das sehe hat sich am Quelltext nichts verändert. Auch ein Reread bringt nichts.
Anbei das List des Device:
Internals:
BUSY 0
DEF https://www.hockeyweb.de/del/tabelle-spielplan 86400
FUUID 63fa6e1f-f33f-7706-d2b8-5a6af2677313b7ce
FVERSION 98_HTTPMOD.pm:0.290460/2024-07-28
Interval 14400
MainURL https://www.hockeyweb.de/del/tabelle-spielplan
ModuleVersion 4.2.0 - 11.8.2023
NAME hockey_table
NOTIFYDEV global
NR 166
NTFY_ORDER 50-hockey_table
STATE Fischtown Pinguins
TYPE HTTPMOD
eventCount 11
value
CompiledRegexes:
HttpUtils:
NAME
addr https://www.hockeyweb.de:443
auth 0
code 403
compress 1
conn
data
displayurl https://www.hockeyweb.de/del/tabelle-spielplan
header
host www.hockeyweb.de
httpheader HTTP/1.1 403 Forbidden
Date: Fri, 18 Oct 2024 07:03:27 GMT
Content-Type: text/html; charset=UTF-8
Connection: close
X-Frame-Options: SAMEORIGIN
Referrer-Policy: same-origin
Cache-Control: max-age=15
Expires: Fri, 18 Oct 2024 07:03:42 GMT
Report-To: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=VVJ%2FY52PpS8QltyPO0dsGMbaU8w81pzCXqSkYnsa4UCZ5dUbHTEh4DzUX2dTvogA3%2F%2FHncBy0eCfhrd1jGXcQj%2Br%2FlI6yxUjQKsG33ITlVZgX8MTvjLJZ0q70duZGaPL5Mo%3D"}],"group":"cf-nel","max_age":604800}
NEL: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
Vary: Accept-Encoding
Server: cloudflare
CF-RAY: 8d46ab2f1a611e62-FRA
Content-Encoding: gzip
httpversion 1.0
hu_blocking 0
hu_filecount 1
hu_port 443
hu_portSfx
ignoreredirects 1
loglevel 4
path /del/tabelle-spielplan
protocol https
redirects 0
timeout 30
url https://www.hockeyweb.de/del/tabelle-spielplan
sslargs:
QUEUE:
READINGS:
2024-10-02 00:21:23 goals-1 20 : 11
2024-10-02 00:21:23 goals-10 14 : 17
2024-10-02 00:21:23 goals-11 17 : 25
2024-10-02 00:21:23 goals-12 13 : 20
2024-10-02 00:21:23 goals-13 9 : 22
2024-10-02 00:21:23 goals-14 12 : 20
2023-03-05 16:27:02 goals-15 125 : 225
2024-10-02 00:21:23 goals-2 12 : 6
2024-10-02 00:21:23 goals-3 19 : 15
2024-10-02 00:21:23 goals-4 16 : 9
2024-10-02 00:21:23 goals-5 14 : 11
2024-10-02 00:21:23 goals-6 18 : 12
2024-10-02 00:21:23 goals-7 17 : 14
2024-10-02 00:21:23 goals-8 12 : 11
2024-10-02 00:21:23 goals-9 7 : 7
2024-10-02 00:21:23 goalsDiff-1 9
2024-10-02 00:21:23 goalsDiff-10 -3
2024-10-02 00:21:23 goalsDiff-11 -8
2024-10-02 00:21:23 goalsDiff-12 -7
2024-10-02 00:21:23 goalsDiff-13 -13
2024-10-02 00:21:23 goalsDiff-14 -8
2024-08-29 21:33:55 goalsDiff-15 0
2024-10-02 00:21:23 goalsDiff-2 6
2024-10-02 00:21:23 goalsDiff-3 4
2024-10-02 00:21:23 goalsDiff-4 7
2024-10-02 00:21:23 goalsDiff-5 3
2024-10-02 00:21:23 goalsDiff-6 6
2024-10-02 00:21:23 goalsDiff-7 3
2024-10-02 00:21:23 goalsDiff-8 1
2024-10-02 00:21:23 goalsDiff-9 0
2024-10-02 00:21:23 logo-1 https://appdb.hockeyweb.de/v2/teamLogos/logo_6_cell.png
2024-10-02 00:21:23 logo-10 https://appdb.hockeyweb.de/v2/teamLogos/logo_30_cell.png
2024-10-02 00:21:23 logo-11 https://appdb.hockeyweb.de/v2/teamLogos/logo_15_cell.png
2024-10-02 00:21:23 logo-12 https://appdb.hockeyweb.de/v2/teamLogos/logo_17_cell.png
2024-10-02 00:21:23 logo-13 https://appdb.hockeyweb.de/v2/teamLogos/logo_5_cell.png
2024-10-02 00:21:23 logo-14 https://appdb.hockeyweb.de/v2/teamLogos/logo_12_cell.png
2024-10-02 00:21:23 logo-2 https://appdb.hockeyweb.de/v2/teamLogos/logo_66_cell.png
2024-10-02 00:21:23 logo-3 https://appdb.hockeyweb.de/v2/teamLogos/logo_1_cell.png
2024-10-02 00:21:23 logo-4 https://appdb.hockeyweb.de/v2/teamLogos/logo_33_cell.png
2024-10-02 00:21:23 logo-5 https://appdb.hockeyweb.de/v2/teamLogos/logo_643_cell.png
2024-10-02 00:21:23 logo-6 https://appdb.hockeyweb.de/v2/teamLogos/logo_16_cell.png
2024-10-02 00:21:23 logo-7 https://appdb.hockeyweb.de/v2/teamLogos/logo_4_cell.png
2024-10-02 00:21:23 logo-8 https://appdb.hockeyweb.de/v2/teamLogos/logo_9_cell.png
2024-10-02 00:21:23 logo-9 https://appdb.hockeyweb.de/v2/teamLogos/logo_3_cell.png
2024-10-02 00:21:23 matches-1 5
2024-10-02 00:21:23 matches-10 5
2024-10-02 00:21:23 matches-11 5
2024-10-02 00:21:23 matches-12 5
2024-10-02 00:21:23 matches-13 5
2024-10-02 00:21:23 matches-14 4
2024-08-29 21:33:55 matches-15 0
2024-10-02 00:21:23 matches-2 5
2024-10-02 00:21:23 matches-3 5
2024-10-02 00:21:23 matches-4 3
2024-10-02 00:21:23 matches-5 5
2024-10-02 00:21:23 matches-6 4
2024-10-02 00:21:23 matches-7 4
2024-10-02 00:21:23 matches-8 4
2024-10-02 00:21:23 matches-9 3
2024-10-02 00:21:23 name-1 ERC Ingolstadt
2024-10-02 00:21:23 name-10 Schwenninger Wild Wings
2024-10-02 00:21:23 name-11 Kölner Haie
2024-10-02 00:21:23 name-12 Straubing Tigers
2024-10-02 00:21:23 name-13 Düsseldorfer EG
2024-10-02 00:21:23 name-14 Iserlohn Roosters
2024-08-29 21:33:55 name-15 Löwen Frankfurt
2024-10-02 00:21:23 name-2 Fischtown Pinguins
2024-10-02 00:21:23 name-3 Eisbären Berlin
2024-10-02 00:21:23 name-4 EHC Red Bull München
2024-10-02 00:21:23 name-5 Löwen Frankfurt
2024-10-02 00:21:23 name-6 Nürnberg Ice Tigers
2024-10-02 00:21:23 name-7 Augsburger Panther
2024-10-02 00:21:23 name-8 Grizzlys Wolfsburg
2024-10-02 00:21:23 name-9 Adler Mannheim
2024-10-02 00:21:23 platz-1 1
2024-10-02 00:21:23 platz-10 10
2024-10-02 00:21:23 platz-11 11
2024-10-02 00:21:23 platz-12 12
2024-10-02 00:21:23 platz-13 13
2024-10-02 00:21:23 platz-14 14
2024-08-29 21:33:55 platz-15 14
2024-10-02 00:21:23 platz-2 2
2024-10-02 00:21:23 platz-3 3
2024-10-02 00:21:23 platz-4 4
2024-10-02 00:21:23 platz-5 5
2024-10-02 00:21:23 platz-6 6
2024-10-02 00:21:23 platz-7 7
2024-10-02 00:21:23 platz-8 8
2024-10-02 00:21:23 platz-9 9
2024-10-02 00:21:23 points-1 13
2024-10-02 00:21:23 points-10 5
2024-10-02 00:21:23 points-11 5
2024-10-02 00:21:23 points-12 3
2024-10-02 00:21:23 points-13 2
2024-10-02 00:21:23 points-14 0
2024-08-29 21:33:55 points-15 0
2024-10-02 00:21:23 points-2 11
2024-10-02 00:21:23 points-3 10
2024-10-02 00:21:23 points-4 9
2024-10-02 00:21:23 points-5 9
2024-10-02 00:21:23 points-6 8
2024-10-02 00:21:23 points-7 7
2024-10-02 00:21:23 points-8 6
2024-10-02 00:21:23 points-9 5
REQUEST:
context reading
data
header
ignoreredirects 0
num unknown
retryCount 0
type update
url https://www.hockeyweb.de/del/tabelle-spielplan
Attributes:
alias DEL Tabelle
enableControlSet 1
group Informationen
icon Wunderlist
preProcessRegex s/<thead>.*<\/thead>//s
reading01Name name
reading01RegOpt g
reading01Regex <td class="hw-table__team__name">(.*)<\/td>
reading02Name matches
reading02RegOpt g
reading02Regex <td class="hw-table__team__matches">(.*)<\/td>
reading03Name points
reading03RegOpt g
reading03Regex <td class="hw-table__team__points">(.*)<\/td>
reading04Name goals
reading04RegOpt g
reading04Regex <td class="hw-table__team__goals"><span>(.*)<\/span><\/td>
reading05Name goalsDiff
reading05RegOpt g
reading05Regex <td class="hw-table__team__goalsDiff">(.*)<\/td>
reading06Name platz
reading06RegOpt g
reading06Regex <td class="hw-table__team__place">(.*)<\/td>
reading07Name logo
reading07RegOpt g
reading07Regex <td class="hw-table__team__logo"><img src="(.*)"><\/td>
readingOExpr $val =~ s/<[\d\D]+>//;;$val
room Information->Hockey
stateFormat name-2
timeout 30
userattr .*Vielleicht findet ja jemand erfahreneres einen Grund warum die Aktualisierung nicht mehr geht.
Die scheinen Requests von "Bots" zu blockieren. Also alles, was nicht nach Browser aussieht, wird geblockt (deshalb auch 403).
Habe eben getestet, auf macOS konnte ich das mit curl 8.7.1 einfach umgehen indem ich selbst einen validen Browser-User-Agent angefügt habe – auf Debian mit curl 7.88.1 hat das aber nicht funktioniert.
curl https://www.hockeyweb.de/del/tabelle-spielplan
curl -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15" https://www.hockeyweb.de/del/tabelle-spielplan
Auch in httpmod den User-Agent zu ändern hat bei mir leider nichts gebracht:
attr hockey_table requestHeader User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15
Keine Ahnung was für Zaubereien Cloudflare da macht bzw. wieso curl auf MacOS das umgehen kann, auf Debian aber nicht.
Aktuell sieht das aber wohl eher schlecht aus. Alternative wäre, vielleicht irgendwas mit selenium o.ä. zu bauen, das einen Browser besser imitiert als curl/httpmod. Oder eine andere Datenquelle suchen ... Sportschau würde sich vermutlich anbieten: https://www.sportschau.de/live-und-ergebnisse/eishockey/deutschland-del/tabelle (https://www.sportschau.de/live-und-ergebnisse/eishockey/deutschland-del/tabelle)
Komisch .. Dein curl mit User-Agent vom Mac funktioniert auf meinem Linux System sehr wohl, getestet mit:
curl 7.81.0
curl 8.5.0
Andere curl-Versionen liegen mir nur aktuell nicht vor ...
Kann es eher sein, wenn man zu viel Abfragt? Hatte gleich mit Deinem User Agent verwendet.
Heute habe ich sicher einige Male Abgefragt, davor mehrere Tage gar nicht, da ich immer die Webseite direkt kontrolliert habe ob die aktualisiert wurde.
Ich warte mal bis Montag ab und melde mich dann ggf. zurück.
Zitat von: Wernieman am 18 Oktober 2024, 19:04:43Dein curl mit User-Agent vom Mac funktioniert auf meinem Linux System sehr wohl
Interessant!
Habe es gerade noch mit einem anderen System probiert, von dem aus ich noch nie abgefragt hatte (Ubuntu, curl 8.5.0), da funktioniert es aber auch nicht.
Die Häufigkeit alleine ist es also nicht – da sind bestimmt noch andere Checks eingebaut. Kann z.B. auch daran liegen, dass das Ubuntu-System nicht von einer residential IP aus requested, sondern von Oracle Cloud.
Ich habe meine Private IP verwendet
@passible: kannst Du über eine andere IP Testen?
Mal aufgelistet:
Vodafone (residential IP):
- curl 8.7.1 (macOS) funktioniert
- curl 7.88.1 (Debian, x64) funktioniert nicht
- curl 7.74.0 (Debian, aarch64) funktioniert nicht
Telekom (residential IP):
- curl 8.7.1 (macOS) funktioniert
- curl 7.88.1 (Debian, x64) funktioniert nicht
- curl 7.88.1 (Debian, armv7l) funktioniert nicht
Oracle Cloud (nicht-residential IP):
- curl 8.7.1 (macOS) funktioniert
- curl 8.5.0 (Ubuntu, x64) funktioniert nicht
Der HTTP-Request ist dabei immer gleich, aber der SSL-Handshake scheint ein jeweils ein bisschen anders abzulaufen. Möglicherweise liegt es daran?
z.B. curl 8.5.0 auf Ubuntu:
* Host www.hockeyweb.de:443 was resolved.
* IPv6: 2606:4700:20::681a:269, 2606:4700:20::ac43:444f, 2606:4700:20::681a:369
* IPv4: 104.26.3.105, 172.67.68.79, 104.26.2.105
* Trying [2606:4700:20::681a:269]:443...
* Connected to www.hockeyweb.de (2606:4700:20::681a:269) port 443
* ALPN: curl offers h2,http/1.1
* TLSv1.3 (OUT), TLS handshake, Client hello (1):
* CAfile: /etc/ssl/certs/ca-certificates.crt
* CApath: /etc/ssl/certs
* TLSv1.3 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Certificate (11):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_256_GCM_SHA384 / X25519 / id-ecPublicKey
* ALPN: server accepted h2
* Server certificate:
* subject: CN=hockeyweb.de
* start date: Sep 24 09:16:20 2024 GMT
* expire date: Dec 23 09:16:19 2024 GMT
* subjectAltName: host "www.hockeyweb.de" matched cert's "*.hockeyweb.de"
* issuer: C=US; O=Google Trust Services; CN=WE1
* SSL certificate verify ok.
* Certificate level 0: Public key type EC/prime256v1 (256/128 Bits/secBits), signed using ecdsa-with-SHA256
* Certificate level 1: Public key type EC/prime256v1 (256/128 Bits/secBits), signed using ecdsa-with-SHA384
* Certificate level 2: Public key type EC/secp384r1 (384/192 Bits/secBits), signed using ecdsa-with-SHA384
* using HTTP/2
* [HTTP/2] [1] OPENED stream for https://www.hockeyweb.de/del/tabelle-spielplan
* [HTTP/2] [1] [:method: GET]
* [HTTP/2] [1] [:scheme: https]
* [HTTP/2] [1] [:authority: www.hockeyweb.de]
* [HTTP/2] [1] [:path: /del/tabelle-spielplan]
* [HTTP/2] [1] [user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15]
* [HTTP/2] [1] [accept: */*]
> GET /del/tabelle-spielplan HTTP/2
> Host: www.hockeyweb.de
> User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15
> Accept: */*
>
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* old SSL session ID is stale, removing
< HTTP/2 403
< date: Sat, 19 Oct 2024 13:49:09 GMT
< content-type: text/html; charset=UTF-8
< content-length: 4524
< x-frame-options: SAMEORIGIN
< referrer-policy: same-origin
< cache-control: max-age=15
< expires: Sat, 19 Oct 2024 13:49:24 GMT
< report-to: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=YLWgReIcmLE%2BC%2BPBlVKvIhruTh971HglP7hRUuLXf%2FTTRUDvGyFvHY%2F1IdmiZJ9PXTEWDbPvlLvVrQ7tW8pAymV3IirlRY53jf8SpBCJnOYUFj8OnoebwJpuz%2Fb7ZFNsBVYKFSolCUd2dghATVM%3D"}],"group":"cf-nel","max_age":604800}
< nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
< server: cloudflare
< cf-ray: 8d513ad748f691d8-FRA
<demgegenüber macOS:
* Host www.hockeyweb.de:443 was resolved.
* IPv6: 2606:4700:20::681a:269, 2606:4700:20::681a:369, 2606:4700:20::ac43:444f
* IPv4: 104.26.2.105, 172.67.68.79, 104.26.3.105
* Trying [2606:4700:20::681a:269]:443...
* Connected to www.hockeyweb.de (2606:4700:20::681a:269) port 443
* ALPN: curl offers h2,http/1.1
* (304) (OUT), TLS handshake, Client hello (1):
* CAfile: /etc/ssl/cert.pem
* CApath: none
* (304) (IN), TLS handshake, Server hello (2):
* (304) (IN), TLS handshake, Unknown (8):
* (304) (IN), TLS handshake, Certificate (11):
* (304) (IN), TLS handshake, CERT verify (15):
* (304) (IN), TLS handshake, Finished (20):
* (304) (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / AEAD-AES256-GCM-SHA384 / [blank] / UNDEF
* ALPN: server accepted h2
* Server certificate:
* subject: CN=hockeyweb.de
* start date: Sep 24 09:16:20 2024 GMT
* expire date: Dec 23 09:16:19 2024 GMT
* subjectAltName: host "www.hockeyweb.de" matched cert's "*.hockeyweb.de"
* issuer: C=US; O=Google Trust Services; CN=WE1
* SSL certificate verify ok.
* using HTTP/2
* [HTTP/2] [1] OPENED stream for https://www.hockeyweb.de/del/tabelle-spielplan
* [HTTP/2] [1] [:method: GET]
* [HTTP/2] [1] [:scheme: https]
* [HTTP/2] [1] [:authority: www.hockeyweb.de]
* [HTTP/2] [1] [:path: /del/tabelle-spielplan]
* [HTTP/2] [1] [user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15]
* [HTTP/2] [1] [accept: */*]
> GET /del/tabelle-spielplan HTTP/2
> Host: www.hockeyweb.de
> User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/17.6 Safari/605.1.15
> Accept: */*
>
* Request completely sent off
< HTTP/2 200
< date: Sat, 19 Oct 2024 13:52:37 GMT
< content-type: text/html; charset=utf-8
< cache-control: must-revalidate, proxy-revalidate, private, no-cache, max-age=0
< server-timing:
< set-cookie: count=1; path=/; domain=www.hockeyweb.de
< access-control-allow-origin: *
< cf-cache-status: DYNAMIC
< report-to: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=%2Fig6FkvEUWvhUlZ9tmRrB9SWkJUTdQpvipPAoJui%2BLtTFoBvj7i19REajVwzVpLN4Rk00v64okasJBNORiF4YcpcfXi2ILyygCrPEf%2BiUEqRkbNVAR0X9CmZsoNCwgFXY7rbXEYRLKcF8e2QzDc%3D"}],"group":"cf-nel","max_age":604800}
< nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
< server: cloudflare
< cf-ray: 8d513fe5ebd39751-FRA
<
Nachtrag:
Habe eben noch curl-impersonate gefunden, damit funktioniert es (unter Debian, aber halt via Docker) ebenfalls:
sudo docker run -it --rm --net host lwthiker/curl-impersonate:0.5-chrome curl_chrome107 -v https://www.hockeyweb.de/del/tabelle-spielplan
und
* Trying 2606:4700:20::ac43:444f:443...
* Connected to www.hockeyweb.de (2606:4700:20::ac43:444f) port 443 (#0)
* ALPN: offers h2
* ALPN: offers http/1.1
* Cipher selection: TLS_AES_128_GCM_SHA256,TLS_AES_256_GCM_SHA384,TLS_CHACHA20_POLY1305_SHA256,ECDHE-ECDSA-AES128-GCM-SHA256,ECDHE-RSA-AES128-GCM-SHA256,ECDHE-ECDSA-AES256-GCM-SHA384,ECDHE-RSA-AES256-GCM-SHA384,ECDHE-ECDSA-CHACHA20-POLY1305,ECDHE-RSA-CHACHA20-POLY1305,ECDHE-RSA-AES128-SHA,ECDHE-RSA-AES256-SHA,AES128-GCM-SHA256,AES256-GCM-SHA384,AES128-SHA,AES256-SHA
* CAfile: /etc/ssl/certs/ca-certificates.crt
* CApath: none
* ALPS, offering h2
* TLSv1.2 (OUT), TLS handshake, Client hello (1):
* TLSv1.2 (IN), TLS handshake, Server hello (2):
* TLSv1.3 (OUT), TLS change cipher, Change cipher spec (1):
* TLSv1.3 (IN), TLS handshake, Encrypted Extensions (8):
* TLSv1.3 (IN), TLS handshake, Unknown (25):
* TLSv1.3 (IN), TLS handshake, CERT verify (15):
* TLSv1.3 (IN), TLS handshake, Finished (20):
* TLSv1.3 (OUT), TLS handshake, Finished (20):
* SSL connection using TLSv1.3 / TLS_AES_128_GCM_SHA256
* ALPN: server accepted h2
* Server certificate:
* subject: CN=hockeyweb.de
* start date: Sep 24 09:16:20 2024 GMT
* expire date: Dec 23 09:16:19 2024 GMT
* subjectAltName: host "www.hockeyweb.de" matched cert's "*.hockeyweb.de"
* issuer: C=US; O=Google Trust Services; CN=WE1
* SSL certificate verify ok.
* Using HTTP2, server supports multiplexing
* Copying HTTP/2 data in stream buffer to connection buffer after upgrade: len=0
* h2h3 [:method: GET]
* h2h3 [:authority: www.hockeyweb.de]
* h2h3 [:scheme: https]
* h2h3 [:path: /del/tabelle-spielplan]
* h2h3 [sec-ch-ua: "Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"]
* h2h3 [sec-ch-ua-mobile: ?0]
* h2h3 [sec-ch-ua-platform: "Windows"]
* h2h3 [upgrade-insecure-requests: 1]
* h2h3 [user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36]
* h2h3 [accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9]
* h2h3 [sec-fetch-site: none]
* h2h3 [sec-fetch-mode: navigate]
* h2h3 [sec-fetch-user: ?1]
* h2h3 [sec-fetch-dest: document]
* h2h3 [accept-encoding: gzip, deflate, br]
* h2h3 [accept-language: en-US,en;q=0.9]
* Using Stream ID: 1 (easy handle 0x7f78a0a70aa0)
> GET /del/tabelle-spielplan HTTP/2
> Host: www.hockeyweb.de
> sec-ch-ua: "Google Chrome";v="107", "Chromium";v="107", "Not=A?Brand";v="24"
> sec-ch-ua-mobile: ?0
> sec-ch-ua-platform: "Windows"
> upgrade-insecure-requests: 1
> user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36
> accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
> sec-fetch-site: none
> sec-fetch-mode: navigate
> sec-fetch-user: ?1
> sec-fetch-dest: document
> accept-encoding: gzip, deflate, br
> accept-language: en-US,en;q=0.9
>
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* TLSv1.3 (IN), TLS handshake, Newsession Ticket (4):
* old SSL session ID is stale, removing
* Connection state changed (MAX_CONCURRENT_STREAMS == 100)!
< HTTP/2 200
< date: Sat, 19 Oct 2024 14:02:41 GMT
< content-type: text/html; charset=utf-8
< cache-control: must-revalidate, proxy-revalidate, private, no-cache, max-age=0
< set-cookie: count=1; path=/; domain=www.hockeyweb.de
< access-control-allow-origin: *
< cf-cache-status: DYNAMIC
< vary: accept-encoding
< server-timing: cfCacheStatus;desc="DYNAMIC"
< report-to: {"endpoints":[{"url":"https:\/\/a.nel.cloudflare.com\/report\/v4?s=I29eqRuKu%2BHWbYcTNV8Zd24CKMwcQA1NMn6NCQG8GVWjXyk1wGJwD96aac4G%2F65BQUum5FgYUP9fAt6kKuYQ1tHzyXH%2FXkkXqcl%2FQGQz4BuYJBIg%2Ba6eZlt%2F3tqjyayWwaqsUbcqVImGEsgc%2Fzs%3D"}],"group":"cf-nel","max_age":604800}
< nel: {"success_fraction":0,"report_to":"cf-nel","max_age":604800}
< server: cloudflare
< cf-ray: 8d514ea7dd439752-FRA
< content-encoding: br
<
Was ist denn jetzt curl-impersonate?
ZitatA special build of curl that can impersonate the four major browsers: Chrome, Edge, Safari & Firefox. curl-impersonate is able to perform TLS and HTTP handshakes that are identical to that of a real browser.
Siehe https://github.com/lwthiker/curl-impersonate (https://github.com/lwthiker/curl-impersonate)
Damit bestätigt sich meine Vermutung, dass – jedenfalls bei mir – curl unter Linux (und auch HTTPMOD) bestimmte Dinge (TLS Handshake/HTTP-Requests) anders machen, sodass Cloudflare das trotz gespooftem User-Agent erkennt.
Ganz ehrlich, ich verstehe schon seit mindestens 4 Beiträgen rein gar nichts mehr.
Ich muss mal schauen ob ich eine andere Quelle finde die konstant die gleichen Daten liefert. Hockeyweb war soweit ich es gesehen habe die einzigen die bisland nicht jedes Jahr am Design rumgeschraubt haben - zumindest bis jetzt.
@passibe
O.K. bei mir ist es ein Ubuntu, nur so unterschiedlich ist doch Ubuntu und Debian nicht .... man könnte sonst noch wget probieren ...
Aber es ändert ja nichts daran, das der http von FHEM ja auch Probleme hat ..