PROPLANTA (bei mir) Kaputt (kein SSL-Fehler..)

Begonnen von macfly, 09 Februar 2018, 14:09:58

Vorheriges Thema - Nächstes Thema

macfly

Hallo,
ich versuche, via Proplanta Daten zu holen, aber egal, welche Stadt ich versuche, das Ergebnis ist immer:

Error: Could not capture all data. Please check URL or city name.

Im Logfile steht dazu:

2018.02.09 13:55:42 3: PROPLANTA: set proplanta update
2018.02.09 13:55:42 4: PROPLANTA proplanta: Start.604 Start forked process to capture html
2018.02.09 13:55:42 4: PROPLANTA proplanta: HtmlAcquire.539 Start capturing of https://www.proplanta.de/Wetter/profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=0
2018.02.09 13:55:42 4: PROPLANTA proplanta: HtmlAcquire.556 40635 characters captured
2018.02.09 13:55:42 4: PROPLANTA proplanta: Run.661 Start HTML parsing of captured page
2018.02.09 13:55:43 4: PROPLANTA proplanta: HtmlAcquire.539 Start capturing of https://www.proplanta.de/Wetter/profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=4
2018.02.09 13:55:43 4: PROPLANTA proplanta: HtmlAcquire.556 48819 characters captured
2018.02.09 13:55:43 4: PROPLANTA proplanta: Run.661 Start HTML parsing of captured page
2018.02.09 13:55:43 4: PROPLANTA proplanta: HtmlAcquire.539 Start capturing of https://www.proplanta.de/Wetter/profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=7
2018.02.09 13:55:44 4: PROPLANTA proplanta: HtmlAcquire.556 24267 characters captured
2018.02.09 13:55:44 4: PROPLANTA proplanta: Run.661 Start HTML parsing of captured page
2018.02.09 13:55:44 4: PROPLANTA proplanta: HtmlAcquire.539 Start capturing of https://www.proplanta.de/Wetter/profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=11
2018.02.09 13:55:46 4: PROPLANTA proplanta: HtmlAcquire.556 48819 characters captured
2018.02.09 13:55:46 4: PROPLANTA proplanta: Run.661 Start HTML parsing of captured page
2018.02.09 13:55:46 4: PROPLANTA proplanta: Run.666 Found terms: 0
2018.02.09 13:55:46 5: PROPLANTA proplanta: Run.672 Parsed string: proplanta
2018.02.09 13:55:46 4: PROPLANTA proplanta: Done.692 Forked process successfully finished
2018.02.09 13:55:46 5: PROPLANTA proplanta: Done.716 reading:durationFetchReadings value:4.28


40635 Bytes wurden verarbeitet (für T=0). Wenn ich die gleiche URL via wget (mit korrektem UserAgent) hole, sind es 548913 Byte:
wget  --header="Accept: text/html" --user-agent="Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0;  rv:11.0) like Gecko" "https://www.proplanta.de/Wetter/profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=0"
--2018-02-09 14:01:13--  https://www.proplanta.de/Wetter/profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=0
Resolving www.proplanta.de (www.proplanta.de)... 62.138.232.100
Connecting to www.proplanta.de (www.proplanta.de)|62.138.232.100|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Saving to: `profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=0'

    [   <=>                                                                                                                                                 ] 548,913     1.19M/s   in 0.4s

2018-02-09 14:01:14 (1.19 MB/s) - `profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=0' saved [548913]


Ich habe den lwp-Teil aus dem Proplanta-Modul mal als minimal-sample extrahiert und kann die 40635 Bytes reproduzieren:

perl-code:
#!/usr/bin/perl

use LWP::UserAgent;
use HTTP::Request;

my $URL="https://www.proplanta.de/Wetter/profi-wetter.php?SITEID=60&PLZ=Oldenburg+(Oldenburg)&STADT=Oldenburg+(Oldenburg)&WETTERaufrufen=stadt&Wtp=&SUCHE=Wetter&wT=0";
my $ua    = LWP::UserAgent->new( env_proxy => 1, keep_alive => 1, protocols_allowed => ['http', 'https'], timeout => 10, agent => "Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0;  rv:11.0) like Gecko" );
my $request   = HTTP::Request->new( GET => $URL );
my $response = $ua->request($request);
print  "Can't get $URL -- " . $response->status_line . "\n" unless $response->is_success;
print "result: ".length($response->content)."\n";


Output:
result: 40635

aber ab und zu auch mal:
result: 48819
result: 32451
result: 48819
result: 48819
result: 24267



Hat jemand eine Idee, was bei mir schief läuft?

vielen Dank,
Friedhelm