Nextcloud Kalender funktioniert nicht mehr

[TheAbalone]

Ich hatte jetzt fast zwei Jahre lang vier Nextcloud-Kalender über das Calendar Modul und CALVIEW in mein FHEM integriert.
Vor ein paar Tagen habe ich FHEM und Nextcloud auf den letzten Stand gebracht und jetzt funktioniert die Abfrage der Kalender nicht mehr.

2020.05.30 23:27:21 4: Calendar cal_Mull: Getting data from URL <hidden>
2020.05.30 23:27:21 5: Calendar cal_Mull: HTTP response code 200
2020.05.30 23:27:21 1: Calendar cal_Mull: retrieved no or empty data
2020.05.30 23:27:21 4: Calendar cal_Mull: Checking times...
2020.05.30 23:27:23 4: Calendar cal_Mull: Updating...

Im Logfile meldet er, dass er keine Daten empfangen hat. Der Link manuell im Browser getestet funktioniert.

Hat sonst jemand noch dieses Problem oder weiß jemand eine Lösung?

LG
Berni

[rcmcronny]

Hoi Berni,

eben habe ich bemerkt,das ich das gleiche Problem habe. Es tritt seit dem 26.5. auf. Vorher gabs im FHEM aber keine passenden Updates so wirklich. Manuell klappt alles.
Ich würde ja auf ein Nextcloud Calendar Update tippen, das wäre zumindest am naheliegendsten, finde aber in den Logs auf die schnelle nichts.

Ich habe auch mal eine neue URL generiert (kann man beim neuen Kalender nun wohl: Link teilen dort gibt es für die Abonnieren URLs eine Option, das geht nun wohl ohne Userdaten, wie es vorher nötig war   (Hint: Im link das webcals:// ersetzen durch https://)

Leider kommt aber hier genau der gleiche Fehler, leider ergibt verbose 5 nur von TheAbalone angebene Daten.

Hat jemand eine Idee ?

[Dr. Boris Neubert]

Hallo,

ich habe dieses Thema schon gesehen aber ohne Log kann ich auch nicht helfen. M.E. müsste ein attr global verbose 5 aber mehr als das Gezeigte bringen.

Grüße
Boris

[TheAbalone]

Bei mir tritt das Problem seit 27.05. auf (10:30).
Ich habe noch einen Raspi mit einer älteren Nextcloud-Version (18.0.3) mit der es noch funktioniert hat, als ich ihn getestet hatte. Jetzt funktioniert es dort auch nicht mehr. Die Kalenderversion von Nextcloud ist die gleiche. Es gab also hier kein Update.

Ich bin ein bisschen ratlos... Lokale ICS-Dateien funktionieren.
Für mich scheint es, dass es an FHEM liegt. Leider habe ich kein altes FHEM herumliegen. Ich werde wohl ein Backup zurückspielen müssen.

Ich bekomme leider nicht mehr im Logfile obwohl ich verbose auf 5 gestellt habe.

LG

edit: Ich habe gerade gesehen, dass ich am 27.05. um 11:39 ein Update von FHEM durchgeführt habe. Eine Stunde davor hat es das letzte Mal funktioniert.

[rcmcronny]

Hi Boris,

danke fürs Melden

Also ich hab auf Verbose 5 nur folgende Ausgaben:

Code Auswählen Erweitern


2020.06.04 19:34:57 4: Calendar MuellKalender: Updating...
2020.06.04 19:34:57 4: Calendar MuellKalender: Getting data from URL <hidden>
2020.06.04 19:34:57 5: Calendar MuellKalender: HTTP response code 200
2020.06.04 19:34:57 1: Calendar MuellKalender: retrieved no or empty data
2020.06.04 19:34:57 4: Calendar MuellKalender: Checking times...


Ich habe nun auch mal die neue Public Ical URL vom Nextcloud gesetzt (die geht ohne Userdaten), leider das gleiche Fehlerbild.
Im Browser und per wget von der SSH Shell geht es problemlos.
Ich habe ein offizielles LetsEncrypt Cert, das funktioniert problemlos, so das es auch am https nicht liegen kann.

Gruß Ronny

[enno]

Moin Boris,

das gleich bei mir. Nach Update von Nextcloud nur noch "empty data". Hier mal ein log mit Verbose 5...

Code Auswählen Erweitern

2020.06.04 21:15:11 4: Calendar Kalender: Updating...
2020.06.04 21:15:11 5: SSL verify mode set to 0
2020.06.04 21:15:11 4: Calendar Kalender: Getting data from URL <hidden>
2020.06.04 21:15:12 5: Calendar Kalender: HTTP response code 200
2020.06.04 21:15:12 1: Calendar Kalender: retrieved no or empty data
2020.06.04 21:15:12 4: Calendar Kalender: Checking times...

Nicht viel. Noch irgendwas, was helfen könnte?

Gruss
  Enno

[TheAbalone]

Bin auf das FHEM Backup vom 27.05. 11:39 zurück und alles funktioniert wieder.

LG
Berni

Edit: Ich hatte davor monatelang kein Update gemacht. Es haben sich deshalb leider sehr viele Dateien geändert.

[Dr. Boris Neubert]

Hallo,

ich habe Revision 22027 im Verdacht. Da wurde HttpUtils.pm geändert. Spiel mal bitte einer die angefügte Version von HttpUtils.pm nach FHEM ein. Neustart. Und dann bitte Bericht, ob es damit wieder funktioniert.

Viele Grüße
Boris

[rcmcronny]

Hallo,

wenn ich mir die Änderungen anschaue um die Zeit, kommt wirklich nur das HttpUtils.pm in Frage:

Code Auswählen Erweitern


2020.05.25 09:59:06 1: UPD ./CHANGED
2020.05.25 09:59:06 1: UPD ./MAINTAINER.txt
2020.05.25 09:59:06 1: UPD FHEM/01_FHEMWEB.pm
2020.05.25 09:59:06 1: UPD FHEM/10_CUL_HM.pm
2020.05.25 09:59:06 1: UPD FHEM/10_MAX.pm
2020.05.25 09:59:07 1: UPD FHEM/57_SSCal.pm
2020.05.25 09:59:07 1: UPD FHEM/60_Watches.pm
2020.05.25 09:59:07 1: UPD FHEM/93_DbLog.pm

2020.05.26 08:54:40 1: UPD ./CHANGED
2020.05.26 08:54:40 1: UPD FHEM/73_AutoShuttersControl.pm
2020.05.26 08:54:40 1: UPD FHEM/98_DOIF.pm
2020.05.26 08:54:40 1: UPD FHEM/98_WeekdayTimer.pm
2020.05.26 08:54:40 1: UPD FHEM/DevIo.pm
2020.05.26 08:54:40 1: UPD FHEM/HttpUtils.pm
2020.05.26 08:54:40 1: UPD FHEM/lib/AttrTemplate/mqtt2.template

2020.05.28 09:32:06 1: UPD ./CHANGED
2020.05.28 09:32:06 1: UPD ./fhem.pl
2020.05.28 09:32:06 1: UPD FHEM/00_MQTT.pm
2020.05.28 09:32:06 1: UPD FHEM/60_Watches.pm
2020.05.28 09:32:06 1: UPD FHEM/94_PWM.pm


Ich teste es mal
Ronny

[rcmcronny]

Hallo,

jup geht damit wieder:

Code Auswählen Erweitern


2020.06.04 21:35:11 4: Calendar MuellKalender: Updating...
2020.06.04 21:35:11 4: Calendar MuellKalender: Getting data from URL <hidden>
2020.06.04 21:35:11 5: Calendar MuellKalender: HTTP response code 200
2020.06.04 21:35:11 4: Calendar MuellKalender: parsing data asynchronously (PID= 2583)
2020.06.04 21:35:11 5: Calendar MuellKalender: control passed back to main loop.
2020.06.04 21:35:12 4: Calendar MuellKalender: got result from asynchronous parsing.
2020.06.04 21:35:12 4: Calendar MuellKalender: asynchronous parsing finished.
2020.06.04 21:35:12 4: Calendar MuellKalender: merging data
2020.06.04 21:35:12 4: Calendar MuellKalender: 5 records processed, 0 new, 5 known, 0 modified, 0 changed.
2020.06.04 21:35:12 4: Calendar MuellKalender: creating calendar events
2020.06.04 21:35:12 4: Calendar MuellKalender: Checking times...
2020.06.04 21:35:12 3: ABFALL myAbfall - CALENDAR:MuellKalender triggered, updating ABFALL myAbfall ...
2020.06.04 21:35:12 4: Calendar MuellKalender: process ended.


[Dr. Boris Neubert]

Okay, nicht mehr meine Baustelle *händereib* 

Nein, ich gehe der Sache weiter nach. Aber heute nicht mehr.

[CoolTux]

Ich habe heute erst ein Update gemacht und bei mir geht alles

Code Auswählen Erweitern


2020.06.04 21:33:13 4: Calendar calendarBrbFerien: Updating...
2020.06.04 21:33:13 4: Calendar calendarBrbFerien: Getting data from URL <hidden>
2020.06.04 21:33:13 5: Calendar calendarBrbFerien: HTTP response code 200
2020.06.04 21:33:13 4: Calendar calendarBrbFerien: parsing data asynchronously (PID= 2227874)
2020.06.04 21:33:13 5: Calendar calendarBrbFerien: control passed back to main loop.
2020.06.04 21:33:14 4: Calendar calendarBrbFerien: got result from asynchronous parsing.
2020.06.04 21:33:14 4: Calendar calendarBrbFerien: asynchronous parsing finished.
2020.06.04 21:33:14 4: Calendar calendarBrbFerien: merging data
2020.06.04 21:33:14 4: Calendar calendarBrbFerien: 9 records processed, 9 new, 0 known, 0 modified, 0 changed.
2020.06.04 21:33:14 4: Calendar calendarBrbFerien: creating calendar events
2020.06.04 21:33:14 4: Calendar calendarBrbFerien: Checking times...
2020.06.04 21:33:14 4: Calendar calendarBrbFerien: process ended.
2020.06.04 21:37:19 4: Calendar calendarBrbFerien: Wakeup
2020.06.04 21:37:19 4: Calendar calendarBrbFerien: Updating...
2020.06.04 21:37:19 4: Calendar calendarBrbFerien: Getting data from URL <hidden>
2020.06.04 21:37:19 5: Calendar calendarBrbFerien: HTTP response code 200
2020.06.04 21:37:19 4: Calendar calendarBrbFerien: parsing data asynchronously (PID= 2228892)
2020.06.04 21:37:19 5: Calendar calendarBrbFerien: control passed back to main loop.
2020.06.04 21:37:20 4: Calendar calendarBrbFerien: got result from asynchronous parsing.
2020.06.04 21:37:20 4: Calendar calendarBrbFerien: asynchronous parsing finished.
2020.06.04 21:37:20 4: Calendar calendarBrbFerien: merging data
2020.06.04 21:37:20 4: Calendar calendarBrbFerien: 8 records processed, 8 new, 0 known, 0 modified, 0 changed.
2020.06.04 21:37:20 4: Calendar calendarBrbFerien: creating calendar events
2020.06.04 21:37:20 4: Calendar calendarBrbFerien: Checking times...
2020.06.04 21:37:20 4: Calendar calendarBrbFerien: process ended.


[rcmcronny]

Warten wir mal ab, ich nehme die HttpUtils erstmal aus dem Update raus

Danke Boris fürs mit Debuggen

@CoolTux Hast Du da auch nen Nextcloud Calendar in der Url ? Ich habe heute auch aktualisiert früh (und ging bis vor dem Austausch nicht)   

[CoolTux]

Jepp habe ich

Code Auswählen Erweitern


ical url https://cloud.cooltux.net/remote.php/dav/public-calendars/ghdg463gf67gh?export 86400

Link würde natürlich zensiert

[CoolTux]

Nextcloud ist die letzte 18er stable

[rcmcronny]

Hoi,

bei mir auch, 18.0.4 wars die Tage und heute kam die 18.0.5, bei beiden der Fall.

Wenn man dann sieht, das in der HttpUtils.pm die Änderung recht klein ist ->
https://svn.fhem.de/trac/changeset?reponame=&new=22027%40trunk%2Ffhem%2FFHEM%2FHttpUtils.pm&old=21529%40trunk%2Ffhem%2FFHEM%2FHttpUtils.pm

Ich habe mal eben beim Abruf der Header im Firefox geschaut, da ist Connection: keep-alive , aber der Abruf muss ja nicht gleich dem HttpUtils abruf sein.

Ronny

[enno]

Mit der von Boris angehängten HttpUtils.pm geht es bei mir auch wieder.

Code Auswählen Erweitern

ical url https://fhem:fhem@homepage.de/nextcloud/remote.php/dav/calendars/fhem/fhem?export 86400

(die Domain habe ich auch zensiert)

Nextcloud 18.0.4

Gruss
  Enno

[KölnSolar]

wenn ich das so richtig sehe, dann ist es davon abhängig, was die url zurückliefert. Scheinbar ist im Fehlerfall Connection:\s*Upgrade im Header enthalten. Für den Zweck der Änderung(für DevIo mit websocket), müsste stattdessen Upgrade:\s*websocket in Zeile 698 geändert werden und den Fehler verhindern. Mag das jemand ausprobieren ?

[rcmcronny]

Hi,

habs probiert, dann klappts noch

Code Auswählen Erweitern


    } elsif($hdr =~ m/Connection:\s*Upgrade:\s*websocket/i) {
      $hash->{httpdatalen} = 0;
      $hash->{httpheader} = $hdr;
      $hash->{httpdata} = $hash->{buf} = "";


Code Auswählen Erweitern


2020.06.04 22:48:19 4: Calendar MuellKalender: Updating...
2020.06.04 22:48:19 4: Calendar MuellKalender: Getting data from URL <hidden>
2020.06.04 22:48:19 5: Calendar MuellKalender: HTTP response code 200
2020.06.04 22:48:19 4: Calendar MuellKalender: parsing data asynchronously (PID= 7415)
2020.06.04 22:48:19 5: Calendar MuellKalender: control passed back to main loop.
2020.06.04 22:48:20 4: Calendar MuellKalender: got result from asynchronous parsing.
2020.06.04 22:48:20 4: Calendar MuellKalender: asynchronous parsing finished.
2020.06.04 22:48:20 4: Calendar MuellKalender: merging data
2020.06.04 22:48:20 4: Calendar MuellKalender: 5 records processed, 0 new, 5 known, 0 modified, 0 changed.
2020.06.04 22:48:20 4: Calendar MuellKalender: creating calendar events
2020.06.04 22:48:20 4: Calendar MuellKalender: Checking times...
2020.06.04 22:48:20 3: ABFALL myAbfall - CALENDAR:MuellKalender triggered, updating ABFALL myAbfall ...
2020.06.04 22:48:20 4: Calendar MuellKalender: process ended.


[KölnSolar]

Schon mal nicht schlecht. Rudi hat meine Idee aber scheinbar nicht so recht gefallen u. er hätte gerne mal den http-header aus der response des Servers.

[rcmcronny]

Hi,

kann ich gern liefern, aber da brauche ich ne Info, wie ich das aus dem Modul mir rausziehen kann.
Wenn ich das im Firefox aufrufe, bringt das doch nix, sollte also schon aus dem Modul direkt aus der Anfrage ja kommen

Ronny

[KölnSolar]

Mit curl, wget... von der Konsole ? 

[CoolTux]

Das ganze scheint sich auf
remote.php/dav/calendars
zu beschränken. Ich habe einen public calendars und ddamit geht es. Schon interessant

[rcmcronny]

Hallo,

hast Du auch einen up2date Server mit http2 usw ?
Es tritt bei mir aber auch mit dem Public Link  .../remote.php/dav/public-calendars/... auf.

Also mit curl kommt nix passendes, das liegt am direkten http2 würde ich vermuten, bei wget kommt jedoch was brauchbares (hoffe ich)

Code Auswählen Erweitern


HTTP/1.1 200 OK
Date: Fri, 05 Jun 2020 07:13:13 GMT
Server: Apache
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
Pragma: no-cache
Content-Security-Policy: default-src 'none';
Content-Disposition: attachment; filename="<entfernt>-2020-06-05.ics"
Set-Cookie: <entfernt>=<entfernt>; path=/; secure; HttpOnly
Set-Cookie: oc_sessionPassphrase=<entferntxxxxxxx>; path=/; secure; HttpOnly
Set-Cookie: __Host-nc_sameSiteCookielax=true; path=/; httponly;secure; expires=Fri, 31-Dec-2100 23:59:59 GMT; SameSite=lax
Set-Cookie: __Host-nc_sameSiteCookiestrict=true; path=/; httponly;secure; expires=Fri, 31-Dec-2100 23:59:59 GMT; SameSite=strict
Referrer-Policy: no-referrer
Strict-Transport-Security: max-age=15768000; includeSubDomains; preload
X-Content-Type-Options: nosniff
X-Download-Options: noopen
X-Frame-Options: SAMEORIGIN
X-Permitted-Cross-Domain-Policies: none
X-Robots-Tag: none
X-XSS-Protection: 1; mode=block
Upgrade: h2
Connection: Upgrade, Keep-Alive
Keep-Alive: timeout=15, max=300
Transfer-Encoding: chunked
Content-Type: text/calendar;charset=UTF-8


Und ich denke mal das der relevante Punkt hier:

Code Auswählen Erweitern


Upgrade: h2
Connection: Upgrade, Keep-Alive


Ronny

[CoolTux]

Hallo,

hast Du auch einen up2date Server mit http2 usw ?
Es tritt bei mir aber auch mit dem Public Link  .../remote.php/dav/public-calendars/... auf.

Also mit curl kommt nix passendes, das liegt am direkten http2 würde ich vermuten, bei wget kommt jedoch was brauchbares (hoffe ich)

Code Auswählen Erweitern


HTTP/1.1 200 OK
Date: Fri, 05 Jun 2020 07:13:13 GMT
Server: Apache
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate
Pragma: no-cache
Content-Security-Policy: default-src 'none';
Content-Disposition: attachment; filename="<entfernt>-2020-06-05.ics"
Set-Cookie: <entfernt>=<entfernt>; path=/; secure; HttpOnly
Set-Cookie: oc_sessionPassphrase=<entferntxxxxxxx>; path=/; secure; HttpOnly
Set-Cookie: __Host-nc_sameSiteCookielax=true; path=/; httponly;secure; expires=Fri, 31-Dec-2100 23:59:59 GMT; SameSite=lax
Set-Cookie: __Host-nc_sameSiteCookiestrict=true; path=/; httponly;secure; expires=Fri, 31-Dec-2100 23:59:59 GMT; SameSite=strict
Referrer-Policy: no-referrer
Strict-Transport-Security: max-age=15768000; includeSubDomains; preload
X-Content-Type-Options: nosniff
X-Download-Options: noopen
X-Frame-Options: SAMEORIGIN
X-Permitted-Cross-Domain-Policies: none
X-Robots-Tag: none
X-XSS-Protection: 1; mode=block
Upgrade: h2
Connection: Upgrade, Keep-Alive
Keep-Alive: timeout=15, max=300
Transfer-Encoding: chunked
Content-Type: text/calendar;charset=UTF-8


Und ich denke mal das der relevante Punkt hier:

Code Auswählen Erweitern


Upgrade: h2
Connection: Upgrade, Keep-Alive


Ronny

Mein Apache ist in der Tat up2date. Kommt mit Buster

[KölnSolar]

Und ich denke mal das der relevante Punkt hier:

Code: [Auswählen]

Upgrade: h2
Connection: Upgrade, Keep-Alive

So seh ich das auch. Ich verlinke das mal für Rudi in dem anderen Thread.

Danke.
Markus

[rcmcronny]

Mein Apache ist in der Tat up2date. Kommt mit Buster

Ja, ich meinte eher hast Du auch das h2 Modul aktiv und entsprechend eingerichtet Denn nur dann kommen auch die 2 Header So meint ich das

Code Auswählen Erweitern


Upgrade: h2
Connection: Upgrade, Keep-Alive


[CoolTux]

Ja, ich meinte eher hast Du auch das h2 Modul aktiv und entsprechend eingerichtet Denn nur dann kommen auch die 2 Header So meint ich das

Code Auswählen Erweitern


pgrade: h2
Connection: Upgrade, Keep-Alive


Ah verstehe. Nein das habe ich in der Tat nicht.

[KölnSolar]

Rudi hats geändert. Sollte dann mit dem morgigen Update(oder wer Lust hat vorab aus dem SVN) alles wieder wie gewohnt funktionieren.

[rcmcronny]

Hallo,

Code Auswählen Erweitern


HttpUtils.pm 22119 2020-06-05 08:38:10Z rudolfkoenig


habe Sie mir eben gezogen und sieht gut aus wieder, Danke.

Ronny

[enno]

Moin zusammen,

ich habe heute das Update gemacht. Alles wieder schön. Danke für das schnelle Reparieren. Jetzt ist auch wieder sichergestellt, dass ich die Mülltonne rechtzeitig raus stelle 

Gruss
  Enno