[gelöst] rclone auf Proxmox-Server und OneDrive

[Gisbert]

Hallo,

ich habe einen Proxmox-Server, auf dem in einer VM Fhem läuft. Am Proxmox-Server ist eine HD-Festplatte per USB angeschlossen, auf der ich die Fhem-Backups, Fhem-Logs sowie die Backups der Proxmox-Backups sichere.

Das läuft schon mal, so dass ich alle möglichen Backups habe, aber alle am gleichen Ort und im gleichen Stromkreis.

Ich wollte deshalb auch Backups von der an Proxmox installierten USB-Festplatte zu OneDrive mit rclone machen.

Im Testbetrieb funktionieren die Befehle rclone copy oder rclone sync, aber wenn ich es mit dem gezippten Fhem-Backups mache, dann läuft rclone anscheinend problemlos durch, aber ich sehe nirgends etwas von den Dateien in OneDrive; die Befehle in OneDrive und die Ordner sind richtig gesetzt.

Meine Frage:
Kann mich jemand unterstützen, der evtl. eine ähnliche Konfiguration (externe Festplatte an Proxmox-Server) wie ich hat und rclone benutzt?

Viele Grüße Gisbert

[Otto123]

Hallo Gisbert,

aber ich sehe nirgends etwas von den Dateien in OneDrive; d

Du siehst sie nicht in deinem rclone mount, Onedrive online im Browser oder in deinem Onedrive unter Windows?

Gruß Otto

[Gisbert]

Hallo Otto,

korrekt, ich sehe nichts von den Fhem-Backup-Dateien in rclone mount, Onedrive online im Browser oder in meinem Onedrive unter Windows.

Noch eine Merkwürdigkeit: das Syncen der Fhem-Log-Dateien hat funktioniert. Ich kann sie unter Onedrive online im Browser oder in meinem Onedrive unter Windows sehen und öffnen, aber sie sind nicht sichtbar unter rclone mount - der Ordner dort ist scheinbar leer (was er aber offensichtlich nicht ist).

Eine weitere Info: ich hatte zuerst rclone auf der Fhem VM installiert, die auch noch besteht, und dann rclone auf dem Proxmox-Server installiert. Von letzerem hab ich rclone Backups gemacht.

Ich versuche mal einen rclone-log zu erzeugen; vielleicht ist dann mehr zu sehen.

Viele Grüße Gisbert

[Otto123]

rclone mount - der Ordner dort ist scheinbar leer

Dann bist DU und deine rclone Definition in unterschiedlichen Welten unterwegs?

Zeig mal wie Du den rclone mount machst. Ich hatte dazu schonmal experimentiert: Link.

[kadettilac89]

Meine Frage:
Kann mich jemand unterstützen, der evtl. eine ähnliche Konfiguration (externe Festplatte an Proxmox-Server) wie ich hat und rclone benutzt?

Viele Grüße Gisbert

lasse den Kopierbefehl mal in Parameter -v 5 laufen und poste den Output incl. abgesetztem Befehl.

Code Auswählen Erweitern

  -v, --verbose count   Print lots more stuff (repeat for more)

Von welcher Dateigröße reden wir hier? Onedrive hatte mal Probleme mit Files die 2 stellige GB Werte hatte.

[Gisbert]

Dann bist DU und deine rclone Definition in unterschiedlichen Welten unterwegs?

Zeig mal wie Du den rclone mount machst. Ich hatte dazu schonmal experimentiert: Link.

Die Installation habe ich in etwa wie du durchgeführt, nur ohne sudo, da ich als root auf dem Proxmox eingeloggt war:

Code Auswählen Erweitern

https://rclone.org/install.sh | bashDann:

Code Auswählen Erweitern

sudo apt install fuse3
Den mount ich wie folgt gemacht:

Code Auswählen Erweitern

rclone --vfs-cache-mode writes mount OneDrive: /mnt/OneDrive --allow-non-emptyDie Ergänzung --allow-non-empty musste ich anhängen, da ich den mount-Befehl vorher schon mal benutzt hatte und OneDrive bereits gemountet war.

Wenn ich folgendes teste, läuft alles wie erwartet:

Code Auswählen Erweitern

rclone sync --log-level INFO -P ./Test/ OneDrive:Test/
Eine Datei in ./Test wird gesynct, d.h. hochgeladen und beim erneuten Ausführen wird nichts mehr zu OneDrive hochgeladen - so wie man es erwartet. Im Ordner Test ist diese Datei bei rclone sync, in OneDrive Web und Windows zu sehen. Fügt man später eine weitere Datei im Ordner Test hinzu und führt den sync-Befehl erneut aus, wird nur die neu zugefügte Datei hochgeladen. - auch so wie man es erwartet.

Anders läuft es bei folgendem Befehl ab:

Code Auswählen Erweitern

rclone sync --log-level INFO -P ./Fhemlogbackup/ OneDrive:Fhemlogbackup/Obwohl alle Dateien bereits im Zielordner sind, werden sie alle nochmals kopiert, z.B.:

Code Auswählen Erweitern

2024/08/27 10:47:27 INFO  : Wetter.Proplanta-2024-08.log: Copied (new)Alle Dateien sind bei OneDrive Windows zu sehen, wobei in OneDrive Windows der richtige Zeitstempel der Dateien vorhanden ist, während in OneDrive Web der Stand von gestern zu sehen ist, d.h. neue Dateien sind dort nicht zu sehen. In rclone mount sind keine Dateien vorhanden.

Kann man rclone unmounten bzw. wie könnte ich vorgehen?
Ist die Datenmenge schlicht zu groß für OneDrive? Ich hab 1 TB Speicher und die Datenmenge im Ordner Fhemlogbackup sind 3.6 GB in 754 Dateien.

Viele Grüße Gisbert

[Gisbert]

lasse den Kopierbefehl mal in Parameter -v 5 laufen und poste den Output incl. abgesetztem Befehl.

Der Befehl

Code Auswählen Erweitern

rclone sync -v 5 /mnt/USBBackup/Fhemlogbackup/ OneDrive:Fhemlogbackup/liefert folgende Fehlermeldung:

Code Auswählen Erweitern

Command sync needs 2 arguments maximum: you provided 3 non flag arguments: ["5" "/mnt/USBBackup/Fhemlogbackup/" "OneDrive:Fhemlogbackup/"]

[Otto123]

In rclone mount sind keine Dateien vorhanden.

Code Auswählen Erweitern

ls -lha /mnt/OneDrivezeigt nichts an? 
Das auch nicht?

Code Auswählen Erweitern

rclone ls OneDrive:Test

[Gisbert]

Nein, rclone mount zeigt nichts an:

Code Auswählen Erweitern

root@FutroS740:/mnt/USBBackup# cd ..
root@FutroS740:/mnt# cd OneDrive/
root@FutroS740:/mnt/OneDrive# ls -lha
total 12M
drwxr-xr-x 1 root root   0 Aug 26 21:01  .
drwxr-xr-x 6 root root   6 Aug 26 18:10  ..
drwxr-xr-x 1 root root   0 Mar 26 15:41  Anlagen
drwxr-xr-x 1 root root   0 May  2  2017  Bilder
drwxr-xr-x 1 root root   0 Aug 23  2023  Desktop
drwxr-xr-x 1 root root   0 Dec 28  2021  Dokumente
drwxr-xr-x 1 root root   0 Dec 18  2020  Download
drwxr-xr-x 1 root root   0 Aug 26 17:27  FhemBackup
drwxr-xr-x 1 root root   0 Aug 26 17:28  Fhemlogbackup
drwxr-xr-x 1 root root   0 Dec 18  2020  Movies
drwxr-xr-x 1 root root   0 Aug 26 16:53  Test
drwxr-xr-x 1 root root   0 Nov 20  2023  VMBackup
root@FutroS740:/mnt/OneDrive# cd Fhemlogbackup/
root@FutroS740:/mnt/OneDrive/Fhemlogbackup# ls -lha
total 0
drwxr-xr-x 1 root root 0 Aug 26 17:28 .
drwxr-xr-x 1 root root 0 Aug 26 21:01 ..
root@FutroS740:/mnt/OneDrive/Fhemlogbackup#Die Windows-Backups (Bilder, Dokumente, Desktop) werden angezeigt.

[Gisbert]

Otto, deine Ergänzung hab ich erst später gesehen, hier das Ergebnis:

Code Auswählen Erweitern

root@FutroS740:/mnt/OneDrive# rclone ls OneDrive:Test
       21 TEST1.txt
       22 Test2.txt
root@FutroS740:/mnt/OneDrive# rclone ls OneDrive:Fhemlogbackup/
root@FutroS740:/mnt/OneDrive#
Der Ordner Test funktioniert einwandfrei, der Ordner Fhemlogbackup leider nicht. Irgendwo ist der Wurm drin, nur wo?
Wie könnte man vorgehen? Die Fhem-Ordner in OneDrive Windows löschen, neue Ordner mit leicht veränderten Namen anlegen und das ganze nochmals versuchen?

[kadettilac89]

lasse den Kopierbefehl mal in Parameter -v 5 laufen und poste den Output incl. abgesetztem Befehl.

Der Befehl

Code Auswählen Erweitern

rclone sync -v 5 /mnt/USBBackup/Fhemlogbackup/ OneDrive:Fhemlogbackup/liefert folgende Fehlermeldung:

Code Auswählen Erweitern

Command sync needs 2 arguments maximum: you provided 3 non flag arguments: ["5" "/mnt/USBBackup/Fhemlogbackup/" "OneDrive:Fhemlogbackup/"]

Das ist nicht der Kopierbefehl. Nutze mal nur eine einzige Datei mit dem Befehl "copy <quelle> <remote><Ziel> -v 5". Das -v verbose Flag muss an das Ende.

Du schreibst im "Testbetrieb" funktioniert es. Wie unterscheidet sich der Testbetrieb vom "fehlerhaften" Setup? Hast du das Onedrive Remote nur in der Config kopiert, oder hast du mit dem Befehl rclone config neu erstellt? Vergleiche mal die Config-Dateien beider Systeme, die Location bekommst du mit "rclone config file".

[Otto123]

ich bin (immer) unsicher mit den / am Ende des Pfades.
Und ich bin mir nicht sicher (habe die Umgebung gerade nicht parat) mit dem mount /mnt/OneDrive und dem Online Ordner OneDrive:

Ersterer ist die lokale Kopie?
Zweiterer ist der Online Ordner?

Wenn man eine Datei in /mnt/OneDrive wirft sollte die später im Online Ordner OneDrive: zu sehen sein?
Wenn man eine Datei mit rclone sync hochlädt müsste die später in /mnt/OneDrive zu sehen sein?

rclone sync hat mit dem mount eigentlich nichts zu schaffen, das sind zwei Alternativen. So wie Du es betreiben willst, braucht es den mount doch nicht?
https://rclone.org/commands/rclone_mount/

[kadettilac89]

ich bin (immer) unsicher mit den / am Ende des Pfades.
Und ich bin mir nicht sicher (habe die Umgebung gerade nicht parat) mit dem mount /mnt/OneDrive und dem Online Ordner OneDrive:

Ersterer ist die lokale Kopie?
Zweiterer ist der Online Ordner?

Wenn man eine Datei in /mnt/OneDrive wirft sollte die später im Online Ordner OneDrive: zu sehen sein?
Wenn man eine Datei mit rclone sync hochlädt müsste die später in /mnt/OneDrive zu sehen sein?

rclone sync hat mit dem mount eigentlich nichts zu schaffen, das sind zwei Alternativen. So wie Du es betreiben willst, braucht es den mount doch nicht?
https://rclone.org/commands/rclone_mount/

Syntax und Verhalten ist vergleichbar mit dem rsycn Befehl. Wenn sync erfolgreich ist müssen beide Verzeichnisse, das lokale und das remote identisch sein. Beim sync passiert viel im Hintergrund, darum bat ich den copy Befehl zu loggen.

Wenn du nach dem Sync den Quellordner leeren willst bedarf es den "-delete" Schalter. Dafür würde ich aber rclone move nehmen da es verwirrend ist.

Kein / am Ende wobei in früheren Versionen auch der abschließende / ignoriert wurde.

[Gisbert]

Das ist nicht der Kopierbefehl. Nutze mal nur eine einzige Datei mit dem Befehl "copy <quelle> <remote><Ziel> -v 5". Das -v verbose Flag muss an das Ende.

Das funktioniert leider auch nicht:

Code Auswählen Erweitern

root@FutroS740:/mnt/USBBackup/Fhemlogbackup# rclone copy HeizungDruck-2024-08.log OneDrive:Fhemlogbackup -v 5
Command copy needs 2 arguments maximum: you provided 3 non flag arguments: ["HeizungDruck-2024-08.log" "OneDrive:Fhemlogbackup" "5"]
Ich hab mal folgendes versucht mit --log-level DEBUG (eine Datei kopiert - copy):

Code Auswählen Erweitern

root@FutroS740:/mnt/USBBackup/Fhemlogbackup# rclone copy --log-level DEBUG HeizungDruck-2024-08.log OneDrive:Fhemlogbackup
2024/08/27 13:12:45 DEBUG : rclone: Version "v1.67.0" starting with parameters ["rclone" "copy" "--log-level" "DEBUG" "HeizungDruck-2024-08.log" "OneDrive:Fhemlogbackup"]
2024/08/27 13:12:45 DEBUG : Creating backend with remote "HeizungDruck-2024-08.log"
2024/08/27 13:12:45 DEBUG : Using config file from "/root/.config/rclone/rclone.conf"
2024/08/27 13:12:45 DEBUG : fs cache: adding new entry for parent of "HeizungDruck-2024-08.log", "/mnt/USBBackup/Fhemlogbackup"
2024/08/27 13:12:45 DEBUG : Creating backend with remote "OneDrive:Fhemlogbackup"
2024/08/27 13:12:46 DEBUG : HeizungDruck-2024-08.log: Modification times differ by -625.854795ms: 2024-08-27 01:28:45.625854795 +0200 CEST, 2024-08-26 23:28:45 +0000 UTC
2024/08/27 13:12:46 DEBUG : HeizungDruck-2024-08.log: quickxor = verfremdet OK
2024/08/27 13:12:47 INFO  : HeizungDruck-2024-08.log: Updated modification time in destination
2024/08/27 13:12:47 DEBUG : HeizungDruck-2024-08.log: Unchanged skipping
2024/08/27 13:12:47 INFO  :
Transferred:              0 B / 0 B, -, 0 B/s, ETA -
Elapsed time:         1.6s

2024/08/27 13:12:47 DEBUG : 6 go routines active
root@FutroS740:/mnt/USBBackup/Fhemlogbackup#
Das gleiche mit rclone sync, eigentlich gleiches Ergebnis:

Code Auswählen Erweitern

root@FutroS740:/mnt/USBBackup/Fhemlogbackup# rclone sync --log-level DEBUG HeizungDruck-2024-08.log OneDrive:Fhemlogbackup
2024/08/27 13:14:59 DEBUG : rclone: Version "v1.67.0" starting with parameters ["rclone" "sync" "--log-level" "DEBUG" "HeizungDruck-2024-08.log" "OneDrive:Fhemlogbackup"]
2024/08/27 13:14:59 DEBUG : Creating backend with remote "HeizungDruck-2024-08.log"
2024/08/27 13:14:59 DEBUG : Using config file from "/root/.config/rclone/rclone.conf"
2024/08/27 13:14:59 DEBUG : fs cache: adding new entry for parent of "HeizungDruck-2024-08.log", "/mnt/USBBackup/Fhemlogbackup"
2024/08/27 13:14:59 DEBUG : Creating backend with remote "OneDrive:Fhemlogbackup"
2024/08/27 13:15:00 DEBUG : HeizungDruck-2024-08.log: Modification times differ by -625.854795ms: 2024-08-27 01:28:45.625854795 +0200 CEST, 2024-08-26 23:28:45 +0000 UTC
2024/08/27 13:15:00 DEBUG : HeizungDruck-2024-08.log: quickxor = verfremdet OK
2024/08/27 13:15:01 INFO  : HeizungDruck-2024-08.log: Updated modification time in destination
2024/08/27 13:15:01 DEBUG : HeizungDruck-2024-08.log: Unchanged skipping
2024/08/27 13:15:01 INFO  :
Transferred:              0 B / 0 B, -, 0 B/s, ETA -
Elapsed time:         2.2s

2024/08/27 13:15:01 DEBUG : 6 go routines active
root@FutroS740:/mnt/USBBackup/Fhemlogbackup# ls -lah /mnt/OneDrive/Fhemlogbackup/
total 0
drwxr-xr-x 1 root root 0 Aug 26 17:28 .
drwxr-xr-x 1 root root 0 Aug 26 21:01 ..
root@FutroS740:/mnt/USBBackup/Fhemlogbackup#
Nach wie vor taucht nichts in rclone mount auf.
In rclone Windows und in rclone Web sind die Dateien wohl doch identisch, nur dass in der Anzeige so schwammige Begriffe wie "geändert vor 10 Stunden" stehen, obwohl anhand der Details zu sehen ist, dass es die aktuelle Datei.

ich bin (immer) unsicher mit den / am Ende des Pfades.
Und ich bin mir nicht sicher (habe die Umgebung gerade nicht parat) mit dem mount /mnt/OneDrive und dem Online Ordner OneDrive:

Ersterer ist die lokale Kopie?
Zweiterer ist der Online Ordner?

Wenn man eine Datei in /mnt/OneDrive wirft sollte die später im Online Ordner OneDrive: zu sehen sein?
Wenn man eine Datei mit rclone sync hochlädt müsste die später in /mnt/OneDrive zu sehen sein?

Das / am Ende scheint bedeutungslos zu sein.
"Ersterer ist die lokale Kopie?" --> ja
"Zweiterer ist der Online Ordner?" --> ja

Datei in rclone mount zugefügt, sie taucht in rclone Windows und Web quasi sofort auf:

Code Auswählen Erweitern

root@FutroS740:/mnt/OneDrive/Fhemlogbackup# nano Test3.text
root@FutroS740:/mnt/OneDrive/Fhemlogbackup# ls
Test3.text
root@FutroS740:/mnt/OneDrive/Fhemlogbackup#
"Wenn man eine Datei mit rclone sync hochlädt, müsste die später in /mnt/OneDrive zu sehen sein?" --> Das scheint nach wie vor ein Problem zu sein.

Und noch ein Test, der zeigt dass rclone sync wohl funktioniert und die Dateien nach OneDrive so schreibt, wie man es erwartet.

Code Auswählen Erweitern

root@FutroS740:/mnt/USBBackup/Fhemlogbackup# nano Test4
root@FutroS740:/mnt/USBBackup/Fhemlogbackup# rclone sync --log-level DEBUG Test4 OneDrive:Fhemlogbackup
2024/08/27 13:35:27 DEBUG : rclone: Version "v1.67.0" starting with parameters ["rclone" "sync" "--log-level" "DEBUG" "Test4" "OneDrive:Fhemlogbackup"]
2024/08/27 13:35:27 DEBUG : Creating backend with remote "Test4"
2024/08/27 13:35:27 DEBUG : Using config file from "/root/.config/rclone/rclone.conf"
2024/08/27 13:35:27 DEBUG : fs cache: adding new entry for parent of "Test4", "/mnt/USBBackup/Fhemlogbackup"
2024/08/27 13:35:27 DEBUG : Creating backend with remote "OneDrive:Fhemlogbackup"
2024/08/27 13:35:28 DEBUG : Test4: Need to transfer - File not found at Destination
2024/08/27 13:35:28 DEBUG : Test4: Starting multipart upload
2024/08/27 13:35:28 DEBUG : Test4: Uploading segment 0/22 size 22
2024/08/27 13:35:29 DEBUG : Test4: quickxor = verfremdet OK
2024/08/27 13:35:29 INFO  : Test4: Copied (new)
2024/08/27 13:35:29 INFO  :
Transferred:             22 B / 22 B, 100%, 0 B/s, ETA -
Transferred:            1 / 1, 100%
Elapsed time:         1.4s

2024/08/27 13:35:29 DEBUG : 10 go routines active
root@FutroS740:/mnt/USBBackup/Fhemlogbackup# rclone sync --log-level DEBUG Test4 OneDrive:Fhemlogbackup
2024/08/27 13:37:03 DEBUG : rclone: Version "v1.67.0" starting with parameters ["rclone" "sync" "--log-level" "DEBUG" "Test4" "OneDrive:Fhemlogbackup"]
2024/08/27 13:37:03 DEBUG : Creating backend with remote "Test4"
2024/08/27 13:37:03 DEBUG : Using config file from "/root/.config/rclone/rclone.conf"
2024/08/27 13:37:03 DEBUG : fs cache: adding new entry for parent of "Test4", "/mnt/USBBackup/Fhemlogbackup"
2024/08/27 13:37:03 DEBUG : Creating backend with remote "OneDrive:Fhemlogbackup"
2024/08/27 13:37:03 DEBUG : Test4: Modification times differ by -274.345183ms: 2024-08-27 13:34:49.274345183 +0200 CEST, 2024-08-27 11:34:49 +0000 UTC
2024/08/27 13:37:03 DEBUG : Test4: quickxor = verfremdet OK
2024/08/27 13:37:04 INFO  : Test4: Updated modification time in destination
2024/08/27 13:37:04 DEBUG : Test4: Unchanged skipping
2024/08/27 13:37:04 INFO  :
Transferred:              0 B / 0 B, -, 0 B/s, ETA -
Elapsed time:         0.7s

2024/08/27 13:37:04 DEBUG : 6 go routines active
root@FutroS740:/mnt/USBBackup/Fhemlogbackup#
Was aber nach wie vor verwundert, ist das mount. Auch die vorhin in /mnt/OneDrive/Fhemlogbackup erzeugte Datei Test3.txt wird jetzt nicht mehr in rclone mount angezeigt - ich verstehe es nicht.

[Otto123]

kurz als Einleitung: gut das Onedrive einen Papierkorb hat, ich habe durch einen falschen Pfad im sync Befehl angefangen mein Onedrive zu löschen 

Was willst Du mit dem mount? Brauchst Du den?
Mit welchen User hast Du mount gemacht und mit welchem User testest Du interaktiv?
Welcher User hat den Zugangstoken zu Onedrive?