[gelöst] httpmod - header: HTTP/1.1 403 Forbidden

[mthome]

Hallo,

ich versuche mit einem HTTPMOD die aktuellen Angebote von Rewe abzufragen. Leider bekomme ich immer ein header: HTTP/1.1 403 Forbidden.

Hat jemand eine Idee, was ich falsch mache? Im Browser bekomme ich ich eine suabere Antwort und könnte mittels Regex die Atrikel suchen.

Hier das List vom Device:

Code Auswählen Erweitern

Internals:
   CFGFN     
   DEF        https://www.rewe.de/angebote/neu-anspach/240034/rewe-markt-hans-boeckler-str-9/?week=current 0
   FUUID      66582b19-f33f-6d2a-4aa3-60d8ca2423fd3da9
   Interval   0
   MainURL    https://www.rewe.de/angebote/neu-anspach/240034/rewe-markt-hans-boeckler-str-9/?week=current
   ModuleVersion 4.2.0 - 11.8.2023
   NAME       rewe.angebote2
   NOTIFYDEV  global
   NR         271
   NTFY_ORDER 50-rewe.angebote2
   STATE      ???
   TYPE       HTTPMOD
   CompiledRegexes:
Attributes:
   enableCookies 1
   reading01Name Artikel
   reading01RegOpt gms
   reading01Regex label="(.*),.*preis.[\d,]*€
   requestHeader1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)
   requestHeader2 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
   requestHeader3 Accept-Encoding: gzip, deflate
   room       System
   verbose    5
Hier der Log-Auszug

Code Auswählen Erweitern

024.05.30 09:34:27 5: rewe.angebote2: set called with reread
2024.05.30 09:34:27 4: rewe.angebote2: GetUpdate called (reread)
2024.05.30 09:34:27 5: rewe.angebote2: AddToQueue adds type update to URL https://www.rewe.de/angebote/neu-anspach/240034/rewe-markt-hans-boeckler-str-9/?week=current, no data, header User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate, retry 0, initial queue len: 0
2024.05.30 09:34:27 5: rewe.angebote2: HandleSendQueue called from AddToSendQueue, qlen = 1
2024.05.30 09:34:27 5: rewe.angebote2: no separator for multiple values (Context update, unknown)
2024.05.30 09:34:27 4: rewe.angebote2: HandleSendQueue sends update with timeout 2 to https://www.rewe.de/angebote/neu-anspach/240034/rewe-markt-hans-boeckler-str-9/?week=current, No Data,
header: User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
Accept-Encoding: gzip, deflate
2024.05.30 09:34:27 5: rewe.angebote2: ReadCallback called from __ANON__
2024.05.30 09:34:27 4: rewe.angebote2: Read callback: request type was update retry 0,
header: HTTP/1.1 403 Forbidden
Date: Thu, 30 May 2024 07:34:27 GMT
Content-Type: text/html; charset=UTF-8
Connection: close
Accept-CH: Sec-CH-UA-Bitness, Sec-CH-UA-Arch, Sec-CH-UA-Full-Version, Sec-CH-UA-Mobile, Sec-CH-UA-Model, Sec-CH-UA-Platform-Version, Sec-CH-UA-Full-Version-List, Sec-CH-UA-Platform, Sec-CH-UA, UA-Bitness, UA-Arch, UA-Full-Version, UA-Mobile, UA-Model, UA-Platform-Version, UA-Platform, UA
Critical-CH: Sec-CH-UA-Bitness, Sec-CH-UA-Arch, Sec-CH-UA-Full-Version, Sec-CH-UA-Mobile, Sec-CH-UA-Model, Sec-CH-UA-Platform-Version, Sec-CH-UA-Full-Version-List, Sec-CH-UA-Platform, Sec-CH-UA, UA-Bitness, UA-Arch, UA-Full-Version, UA-Mobile, UA-Model, UA-Platform-Version, UA-Platform, UA
Cross-Origin-Embedder-Policy: require-corp
Cross-Origin-Opener-Policy: same-origin
Cross-Origin-Resource-Policy: same-origin
Origin-Agent-Cluster: ?1
Permissions-Policy: accelerometer=(),autoplay=(),browsing-topics=(),camera=(),clipboard-read=(),clipboard-write=(),geolocation=(),gyroscope=(),hid=(),interest-cohort=(),magnetometer=(),microphone=(),payment=(),publickey-credentials-get=(),screen-wake-lock=(),serial=(),sync-xhr=(),usb=()
Referrer-Policy: same-origin
X-Content-Options: nosniff
X-Frame-Options: SAMEORIGIN
cf-mitigated: challenge
cf-chl-out: gvUnAf5ewZERCuoboAur0FsWzgLQTTWMWVb32FnFF3U333V5TbmYJHpKXo6ayUQj43q9zHNw2ChM60nUAzzLH2fTdr9hFZECzgYbGCdvm65aA4M5eBEkMsKlo9jz3RgXR8FuSjg6YNiBie5ICAs+sw==$H3Uyxvi6YYCi8II3sd04tQ==
Cache-Control: private, max-age=0, no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Expires: Thu, 01 Jan 1970 00:00:01 GMT
Set-Cookie: __cf_bm=bf7S9TIfVkUoSIv7M3Nzf6PkL2SEh4n4rXLiCyee9UA-1717054467-1.0.1.1-OyQXVoXoItEJaAZPRP6qfd0NCm0yL4iU.nBXiUMHlQCNIK8XUe2N78kJIM_43lTBSnmtrfwH6pYu41fJNqiM6g; path=/; expires=Thu, 30-May-24 08:04:27 GMT; domain=.rewe.de; HttpOnly; Secure; SameSite=None
Vary: Accept-Encoding
Strict-Transport-Security: max-age=15552000
Server: cloudflare
CF-RAY: 88bd0ab5ffbf381c-FRA
Content-Encoding: gzip
alt-svc: h3=":443"; ma=86400, body length 255558

[betateilchen]

Im Browser bekomme ich ich eine suabere Antwort und könnte mittels Regex die Atrikel suchen.

Das hat erstmal gar nichts zu sagen, HTTPMOD ist halt kein Browser. Deshalb sollte man nicht davon ausgehen, dass sich ein HTTPMOD device genau so verhält wie das, was man im Browser zu sehen bekommt.

Außerdem ist "Anfängerfragen" das falsche Unterforum für Fragen zu HTTPMOD.

Hast Du mal hier im Forum nach "rewe" gesucht? Es gab mal eine Rewe-API, die man mit JsonMod abfragen konnte. Ob das noch aktuell ist und noch funktioniert, weiß ich aber nicht.

[mthome]

Außerdem ist "Anfängerfragen" das falsche Unterforum für Fragen zu HTTPMOD.

Hast Du mal hier im Forum nach "rewe" gesucht? Es gab mal eine Rewe-API, die man mit JsonMod abfragen konnte. Ob das noch aktuell ist und noch funktioniert, weiß ich aber nicht.

Ja ich hatte es seither mit JsonMod aber seit Rewe die API verändert hatte geht das leider nicht mehr. Deswegen versuche ich es jetzt mit httpmod.

Wo wäre die Frage denn besser aufgehoben? Kann ich es selber dorthin verschieben?

[betateilchen]

Wo wäre die Frage denn besser aufgehoben?

Man lese den angepinnten Beitrag oben in den Anfängerfragen:
https://forum.fhem.de/index.php?topic=13092.0

Kann ich es selber dorthin verschieben?

Den Button findest Du unten links auf der Seite.

[mthome]

Habe es nun doch noch selber hinbekommen. Ein weiterer requestHeader-Eintrag hat den Erfolg gebracht 

Code Auswählen Erweitern

requestHeader1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)
requestHeader2 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7
requestHeader3 Accept-Encoding: gzip, deflate
requestHeader4 Sec-Ch-Ua: "Google Chrome";v="125", "Chromium";v="125", "Not.A/Brand";v="24"