FHEM Forum

FHEM => Anfängerfragen => Thema gestartet von: stera am 20 September 2018, 20:00:28

Titel: HTTPMod Abfrage von Datenvolumen
Beitrag von: stera am 20 September 2018, 20:00:28
Hallo zusammen,

ich habe extern einem HUAWEI Hotspot mit LTE und einem Raspberry per WLAN zur Überwachung laufen. Es ist eine Telekom/Congstar Karte verbaut. Über www.datapass.de lässt sich über Mobilfunknetz die Seite/Volumen auch abfragen. Nur irgendwie wird die nochmal weitergeleitet und hat dann eine JSession Nummer (datapass.de/home?JSession=xsdsdsd usw).
Wie mache ich da jetzt am besten weiter?

Bin echt dankbar für eure Antworten.


Hier der List

nternals:
   BUSY       0
   CHANGED   
   DEF        http://datapass.de/ 600
   Interval   600
   LASTSEND   1537465920.28004
   MainURL    http://datapass.de/
   ModuleVersion 3.5.1 - 5.7.2018
   NAME       TestHTTP
   NR         75
   STATE      ???
   TRIGGERTIME 1537466520.26954
   TRIGGERTIME_FMT 2018-09-20 20:02:00
   TYPE       HTTPMOD
   addr       http://datapass.de:80
   auth       0
   buf       
   code       200
   compress   1
   conn       
   data       
   displayurl http://datapass.de/
   header     
   host       datapass.de
   httpheader HTTP/1.1 200 OK
Date: Thu, 20 Sep 2018 17:52:02 GMT
Server: Apache
Last-Modified: Thu, 06 Sep 2018 04:49:55 GMT
ETag: "14e0816-40a-5752c9f533dd3"
Accept-Ranges: bytes
Content-Length: 1034
Pragma: no-cache
Cache-Control: no-cache
Cache-Control: no-store
Cache-Control: must-revalidate
Expires: Sun, 16 Nov 1986 10:00:00 GMT
X-Frame-Options: DENY
Pragma: no-cache
Cache-Control: no-cache
Cache-Control: no-store
Cache-Control: must-revalidate
Expires: Sun, 1 Apr 1986 10:00:00 GMT
Connection: close
Content-Type: text/html; charset=UTF-8
   httpversion 1.0
   hu_blocking 0
   hu_filecount 1
   hu_port    80
   hu_portSfx
   ignoreredirects 0
   loglevel   4
   path       /
   protocol   http
   redirects  0
   timeout    2
   url        http://datapass.de/
   value      0
   QUEUE:
   READINGS:
     2018-09-20 08:16:36   Verbrauch       HTTP/1.1 200 OK
     2018-09-20 07:40:26   Verbrauch-1     1
   REQUEST:
     data       
     header     
     ignoreredirects 0
     retryCount 0
     type       update
     url        http://datapass.de/
     value      0
   sslargs:
Attributes:
   disable    0
   reading01Name Verbrauch
   reading01Regex (\d+,\d+)
   userattr   reading01Name reading01Regex
   verbose    4


Das steht im Log unter verbose 4

2018.09.20 19:52:02 4: http://datapass.de/: HTTP response code 200
2018.09.20 19:52:02 4: TestHTTP: Read callback: request type was update retry 0,
Body: <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<!-- <meta http-equiv="Refresh" -->
<!-- content="5; url=portal/home?event=meta_refresh" /> -->
<title>Travel & Surf - Weiterleitung</title>
<link rel="stylesheet" type="text/css" href="stylesheet-telekom.css" />
</head>
<body>
<div id="container">
<div id="logo">
<div id="logoLeft"></div>
<div id="logoFill"></div>
</div>
<div id="title" class="pageTitle">
<h1 class="header">Weiterleitung</h1>
</div>
<div id="content" class="pageContent">
<p>Direkter Zugriff auf die Seite nicht möglich.</p>
<p>Sie werden in 5 Sekunden auf die Startseite weitergeleitet. Wenn dies nicht automatisch geschieht, klicken Sie bitte <a href="portal/home?event=unknown_browser">hier</a>.</p>
</div>
<div id="footer">

<div id="links"><a href="portal/imprint?event=unknown_browser">Impressum</a>
</div>
<p id="costInfo" class="costInfo">Diese Seite ist für Sie kostenfrei.</p>
</div>
</div>
</body>
</html>



Normalerweise ist das der richtige Code nach der Weiterleitung-> Dort steht die 14,15 MB</span> von 100 MB verbraucht die ich gerne auslesen möchte..


<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
<html><head><meta name="viewport" content="width=device-width" /><meta name="apollo-target-device" content="Safari_OSX" /><meta name="apollo-page-id" content="home" /><meta name="language" content="de" /><meta name="mobile-web-app-title" content="Datennutzung" /><meta name="apple-mobile-web-app-title" content="Datennutzung" /><title>Datennutzung - Ihr Datenvolumen</title><link rel="stylesheet" type="text/css" href="/styles/css3-web-safari$web$CONG.css" /><script type="text/javascript" src="/scripts/web.js"></script></head><body class="xtraSpeed pad" onload="init();"><div id="screenHeaderBar"> </div><div id="page_home" class="container"><a id="lnkHome" name="lnkHome" href="/home" class="logoLink"><div id="logoBar"><div id="logoLeft"> </div><div id="logoRight">Xtra SpeedOn</div></div></a><div id="titleBar"><h2 id="pageTitle" class="title">Ihr Datenvolumen</h2><div class="hr"><hr /></div></div><div id="content" class="pageContent"><div class="passStatus"><div class="progress emphasized"><div class="barTextAbove color_default"></div><div class="progressBar"><div class="indicator color_default" style="width:15%"> </div></div><div class="barTextBelow color_default"><span class="colored">14,15 MB</span> von 100 MB verbraucht</div></div><table class="frame"><tr class="infoLine"><td><table><tr><td class="infoLabel expiryTime">Abrechnungszeitraum bis:</td><td class="infoValue expiryTime">03. Oktober 2018</td></tr></table></td></tr><tr class="infoLine"><td><table><tr><td class="infoLabel maxBandwidth">Download-Geschwindigkeit:</td><td class="infoValue maxBandwidth">max. 21 Mbit/s</td></tr></table></td></tr><tr class="infoLine"><td><table><tr><td class="infoLabel tariffZone">Gültig in:</td><td class="infoValue tariffZone"><a href="/zoneInfo">Deutschland, Ländergruppe 1</a></td></tr></table></td></tr></table></div><p>Die angezeigten Informationen sind zeitverzögert und können vom tatsächlichen Verbrauch abweichen.<br/>Letzte Aktualisierung: 19.09.2018 um 23:19 Uhr (MEZ/MESZ)</p><p></p><div><p class="bookmark">Tipp: Richten Sie sich ein Lesezeichen für diese Seite ein!</p></div></div><div id="footer"><p id="customerCare" class="customerCare">Bei Rückfragen wenden Sie sich bitte an Ihren Kundenservice: 0221 79700700</p><p id="costInfo" class="costInfo">Diese Seite ist für Sie kostenfrei.</p><div id="links"><div id="copyright"> </div><p><a href="/history/domestic">​Buchungen</a> | <a href="/tariffTransparency/domestic">​Datennutzung</a> | <a href="/datenschutz">​Datenschutz</a> | <a href="/imprint">​Impressum</a></p></div></div></div><div id="overlay" class="hidden"> </div><div id="popup" class="hidden"><div class="loading"> </div></div></body></html>




Titel: Antw:HTTPMod Abfrage von Datenvolumen
Beitrag von: amenomade am 21 September 2018, 23:34:39
Zitat von: stera am 20 September 2018, 20:00:28
Wie mache ich da jetzt am besten weiter?

Du beschäftigst dich jetzt mit sessions https://wiki.fhem.de/wiki/HTTPMOD#Advanced_configuration_to_create_a_valid_session_id_that_might_be_necessary

Titel: Antw:HTTPMod Abfrage von Datenvolumen
Beitrag von: Spiff am 09 August 2019, 22:49:24
Hi Stera,

hast du es hinbekommen?

Gruß
Spiff
Titel: Antw:HTTPMod Abfrage von Datenvolumen
Beitrag von: AET_FHEM am 27 Januar 2020, 13:30:02
--> Hallo --> klink mich mal ein :-)

würde mich hier für sowas auch sehr interessieren brauch das für congstar.de
hat jemand eine Lösung?
Titel: Antw:HTTPMod Abfrage von Datenvolumen
Beitrag von: amenomade am 27 Januar 2020, 14:54:15
Zitat von: AET_FHEM am 27 Januar 2020, 13:30:02
--> Hallo --> klink mich mal ein :-)

würde mich hier für sowas auch sehr interessieren brauch das für congstar.de
hat jemand eine Lösung?

Die Lösung ist immer die gleiche:
- Netzwerkverkehr analysieren (am besten mit BURP. Es ist aber auch mit den Entwicklertools des Browsers (F12) möglich)
- in HTTPMOD nachbauen
Titel: Antw:HTTPMod Abfrage von Datenvolumen
Beitrag von: AET_FHEM am 28 Januar 2020, 17:22:08
bei mit kommt aber sowas hier =>
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html>
<head>
<!-- <meta http-equiv="Refresh" -->
<!-- content="5; url=portal/home?event=meta_refresh" /> -->
<title>Travel &amp; Surf - Weiterleitung</title>
<link rel="stylesheet" type="text/css" href="stylesheet-telekom.css" />
</head>
<body>
<div id="container">
<div id="logo">
<div id="logoLeft"></div>
<div id="logoFill"></div>
</div>
<div id="title" class="pageTitle">
<h1 class="header">Weiterleitung</h1>
</div>
<div id="content" class="pageContent">
<p>Direkter Zugriff auf die Seite nicht m&ouml;glich.</p>
<p>Sie werden in 5 Sekunden auf die Startseite weitergeleitet. Wenn dies nicht automatisch geschieht, klicken Sie bitte <a href="portal/home?event=unknown_browser">hier</a>.</p>
</div>
<div id="footer">

<div id="links"><a href="portal/imprint?event=unknown_browser">Impressum</a>
</div>
<p id="costInfo" class="costInfo">Diese Seite ist f&uuml;r Sie kostenfrei.</p>
</div>
</div>
</body>
</html>

wie kann ich das dennoch abrufen?
Titel: Antw:HTTPMod Abfrage von Datenvolumen
Beitrag von: amenomade am 28 Januar 2020, 18:52:58
Das ist aber keine Analyse des Netzwerkverkehrs, wie oben besprochen. Das ist nur die HTML-Antwort auf einer Request