FHEM-Umzug von SD-Karte auf neue Hardware mit neuem OS und SSD

[uron]

Ich beziehe mich mal auf einen alten Thread (s.u.), den ich aber wegen des Alters nicht weiterführen möchte.
Ich möchte wie im Titel erwähnt von einem älteren RasPi 3B mit SD-Karte auf einen anderen RasPi 3B mit SSD und neuem OS (Bookworm) umziehen.
Da ich nach dem ersten Versuch am Ende eine Fehlermeldung beim fhem-Start bekomme

Code Auswählen Erweitern

pi@raspberrypi:~ $ sudo systemctl start fhem
Job for fhem.service failed because the control process exited with error code.
See "systemctl status fhem.service" and "journalctl -xeu fhem.service" for details.
will ich nochmals nach der Anleitung von MadMax vorgehen.

Die von MadMax beschriebene Vorgehensweise ist grundsätzlich klar, jedoch möchte ich zunächst auf meinem Alt-System ermitteln, welche (Perl-)Pakete im Laufe der Zeit installiert sind - ich schreibe da nicht mit!. Wo, bzw. wie kann ich die auflisten oder ablesen? Weiterhin dachte ich, das es sicher auch einfacher ist den Altordner "opt/fhem/" einfach auf die neue Hardware zu kopieren oder macht das Probleme? Geht aber sicher auch mit restore!

Ich würde so umziehen (und habe ich schon einige Male gemacht. Entweder neue HW und/oder weil neue OS-Version / Dauer: max. 1h):
neue SSD mit Buster LITE installieren.
PI Grundkonfigurieren.
Inkl. zusätzlicher Einstellungen/(Perl-)Pakete (aus meinen Notizen).
fhem installieren: debian.fhem.de -> the easy way
Dann fhem-Backup auf dem "Alt-System".
fhem stoppen / PI stoppen.
HW umstecken und den neuen PI starten.
dort fhem stoppen und das Backup einspielen...
fhem starten und im Log schauen, ob ich nicht doch was vergessen habe (Notizen ergänzen, wenn)...

Nachtrag:
ChatGPT gab mir die Antwort! Keine Ahnung, welche von den 109 (!) Paketen/Fundstellen ich wirklich brauche!? Die Pakete muss ich doch jetzt nicht wohl alle einzeln installieren? Wie würdet ihr vorgehen?

Code Auswählen Erweitern

pi@raspberrypi:~ $ dpkg -l | grep perl!
ii  fhem                                 6.1.26131                        all                                                                       GPL'd perl server for house automation.
ii  libalgorithm-c3-perl                 0.11-1                           all                                                                       Perl module for merging hierarchies using the C3 algorithm
ii  libalgorithm-diff-perl               1.201-1                          all                                                                       module to find differences between files
ii  libalgorithm-diff-xs-perl            0.04-6+b1                        armhf                                                                     module to find differences between files (XS accelerated)
ii  libalgorithm-merge-perl              0.08-3                           all                                                                       Perl module for three-way merge of textual data
ii  libauthen-sasl-perl                  2.1600-1.1                       all                                                                       Authen::SASL - SASL Authentication framework
ii  libb-hooks-endofscope-perl           0.24-1.1                         all                                                                       module for executing code after a scope finished compilation
ii  libb-hooks-op-check-perl             0.22-1+b4                        armhf                                                                     Perl wrapper for OP check callbacks
ii  libcgi-fast-perl                     1:2.15-1                         all                                                                       CGI subclass for work with FCGI
ii  libcgi-pm-perl                       4.51-1                           all                                                                       module for Common Gateway Interface applications
ii  libclass-c3-perl                     0.35-1                           all                                                                       pragma for using the C3 method resolution order
ii  libclass-c3-xs-perl                  0.15-1+b1                        armhf                                                                     Perl module to accelerate Class::C3
ii  libclass-data-inheritable-perl       0.08-3                           all                                                                       Perl module to create accessors to class data
ii  libclass-inspector-perl              1.36-1                           all                                                                       Perl module that provides information about classes
ii  libclass-method-modifiers-perl       2.13-1                           all                                                                       Perl module providing method modifiers
ii  libclass-singleton-perl              1.6-1                            all                                                                       implementation of a "Singleton" class
ii  libclass-xsaccessor-perl             1.19-3+b17                       armhf                                                                     Perl module providing fast XS accessors
ii  libclone-perl                        0.45-1+b1                        armhf                                                                     module for recursively copying Perl datatypes
ii  libcommon-sense-perl                 3.75-1+b4                        armhf                                                                     module that implements some sane defaults for Perl programs
ii  libdata-dump-perl                    1.23-1.1                         all                                                                       Perl module to help dump data structures
ii  libdata-optlist-perl                 0.110-1.1                        all                                                                       module to parse and validate simple name/value option pairs
ii  libdatetime-locale-perl              1:1.31-1                         all                                                                       Perl extension providing localization support for DateTime
ii  libdatetime-perl:armhf               2:1.54-1                         armhf                                                                     module for manipulating dates, times and timestamps
ii  libdatetime-timezone-perl            1:2.47-1+2024a                   all                                                                       framework exposing the Olson time zone database to Perl
ii  libdbd-sqlite3-perl:armhf            1.66-1+b1                        armhf                                                                     Perl DBI driver with a self-contained RDBMS
ii  libdbi-perl:armhf                    1.643-3+b1                       armhf                                                                     Perl Database Interface (DBI)
ii  libdevel-callchecker-perl            0.008-1+b2                       armhf                                                                     custom op checking attached to subroutines
ii  libdevel-caller-perl                 2.06-2+b3                        armhf                                                                     module providing enhanced caller() support
ii  libdevel-lexalias-perl               0.05-2+b3                        armhf                                                                     Perl module that provides alias lexical variables
ii  libdevel-stacktrace-perl             2.0400-1                         all                                                                       Perl module containing stack trace and related objects
ii  libdevice-serialport-perl            1.04-3+b8                        armhf                                                                     emulation of Win32::SerialPort for Linux/POSIX
ii  libdpkg-perl                         1.20.12+rpi1                     all                                                                       Dpkg perl modules
ii  libdynaloader-functions-perl         0.003-1.1                        all                                                                       deconstructed dynamic C library loading
ii  libencode-locale-perl                1.05-1.1                         all                                                                       utility to determine the locale encoding
ii  liberror-perl                        0.17029-1                        all                                                                       Perl module for error/exception handling in an OO-ish way
ii  libeval-closure-perl                 0.14-1                           all                                                                       Perl module to safely and cleanly create closures via string eval
ii  libexception-class-perl              1.44-1                           all                                                                       module that allows you to declare real exception classes in Perl
ii  libexporter-tiny-perl                1.002002-1                       all                                                                       tiny exporter similar to Sub::Exporter
ii  libfcgi-perl:armhf                   0.79+ds-2                        armhf                                                                     helper module for FastCGI
ii  libfile-fcntllock-perl               0.22-3+b7                        armhf                                                                     Perl module for file locking with fcntl(2)
ii  libfile-listing-perl                 6.14-1                           all                                                                       module to parse directory listings
ii  libfile-sharedir-perl                1.118-1                          all                                                                       module to locate non-code files during run-time
ii  libfont-afm-perl                     1.20-3                           all                                                                       Perl interface to Adobe Font Metrics files
ii  libhtml-form-perl                    6.07-1                           all                                                                       module that represents an HTML form element
ii  libhtml-format-perl                  2.12-1.1                         all                                                                       module for transforming HTML into various formats
ii  libhtml-parser-perl                  3.75-1+b1                        armhf                                                                     collection of modules that parse HTML text documents
ii  libhtml-tagset-perl                  3.20-4                           all                                                                       data tables pertaining to HTML
ii  libhtml-tree-perl                    5.07-2                           all                                                                       Perl module to represent and create HTML syntax trees
ii  libhttp-cookies-perl                 6.10-1                           all                                                                       HTTP cookie jars
ii  libhttp-daemon-perl                  6.12-1+deb11u1                   all                                                                       simple http server class
ii  libhttp-date-perl                    6.05-1                           all                                                                       module of date conversion routines
ii  libhttp-message-perl                 6.28-1                           all                                                                       perl interface to HTTP style messages
ii  libhttp-negotiate-perl               6.01-1                           all                                                                       implementation of content negotiation
ii  libio-html-perl                      1.004-2                          all                                                                       open an HTML file with automatic charset detection
ii  libio-socket-inet6-perl              2.72-2.1                         all                                                                       object interface for AF_INET6 domain sockets
ii  libio-socket-ssl-perl                2.069-1                          all                                                                       Perl module implementing object oriented interface to SSL sockets
ii  libjson-perl                         4.03000-1                        all                                                                       module for manipulating JSON-formatted data
ii  libjson-xs-perl                      4.030-1+b1                       armhf                                                                     module for manipulating JSON-formatted data (C/XS-accelerated)
ii  liblocale-gettext-perl               1.07-4+b1                        armhf                                                                     module using libc functions for internationalization in Perl
ii  liblwp-mediatypes-perl               6.04-1                           all                                                                       module to guess media type for a file or a URL
ii  liblwp-protocol-https-perl           6.10-1                           all                                                                       HTTPS driver for LWP::UserAgent
ii  libmailtools-perl                    2.21-1                           all                                                                       modules to manipulate email in perl programs
ii  libmodule-implementation-perl        0.09-1.1                         all                                                                       module for loading one of several alternate implementations of a module
ii  libmodule-runtime-perl               0.016-1                          all                                                                       Perl module for runtime module handling
ii  libmro-compat-perl                   0.13-1                           all                                                                       mro::* interface compatibility for Perls < 5.9.5
ii  libnamespace-autoclean-perl          0.29-1                           all                                                                       module to remove imported symbols after compilation
ii  libnamespace-clean-perl              0.27-1                           all                                                                       module for keeping imports and functions out of the current namespace
ii  libnet-http-perl                     6.20-1                           all                                                                       module providing low-level HTTP connection client
ii  libnet-smtp-ssl-perl                 1.04-1                           all                                                                       Perl module providing SSL support to Net::SMTP
ii  libnet-ssleay-perl                   1.88-3+b1                        armhf                                                                     Perl module for Secure Sockets Layer (SSL)
ii  libpackage-stash-perl                0.39-1                           all                                                                       module providing routines for manipulating stashes
ii  libpackage-stash-xs-perl             0.29-1+b2                        armhf                                                                     Perl module providing routines for manipulating stashes (XS version)
ii  libpadwalker-perl                    2.5-1+b1                         armhf                                                                     module to inspect and manipulate lexical variables
ii  libparams-classify-perl              0.015-1+b3                       armhf                                                                     Perl module for argument type classification
ii  libparams-util-perl                  1.102-1+b1                       armhf                                                                     Perl extension for simple stand-alone param checking functions
ii  libparams-validationcompiler-perl    0.30-1                           all                                                                       module to build an optimized subroutine parameter validator
ii  libpath-tiny-perl                    0.118-1                          all                                                                       file path utility
ii  libperl5.32:armhf                    5.32.1-4+deb11u3                 armhf                                                                     shared Perl library
ii  libreadonly-perl                     2.050-3                          all                                                                       facility for creating read-only scalars, arrays and hashes
ii  libref-util-perl                     0.204-1                          all                                                                       set of utility functions for checking references
ii  libref-util-xs-perl                  0.117-1+b3                       armhf                                                                     XS implementation for Ref::Util
ii  librole-tiny-perl                    2.002004-1                       all                                                                       Perl module for minimalist role composition
ii  libsocket6-perl                      0.29-1+b3                        armhf                                                                     Perl extensions for IPv6
ii  libspecio-perl                       0.47-1                           all                                                                       Perl module providing type constraints and coercions
ii  libsub-exporter-perl                 0.987-1                          all                                                                       sophisticated exporter for custom-built routines
ii  libsub-exporter-progressive-perl     0.001013-1                       all                                                                       module for using Sub::Exporter only if needed
ii  libsub-identify-perl                 0.14-1+b3                        armhf                                                                     module to retrieve names of code references
ii  libsub-install-perl                  0.928-1.1                        all                                                                       module for installing subroutines into packages easily
ii  libsub-name-perl                     0.26-1+b1                        armhf                                                                     module for assigning a new name to referenced sub
ii  libsub-quote-perl                    2.006006-1                       all                                                                       helper modules for subroutines
ii  libtext-charwidth-perl               0.04-10+b1                       armhf                                                                     get display widths of characters on the terminal
ii  libtext-diff-perl                    1.45-1                           all                                                                       Perl module to find differences in files and record sets
ii  libtext-iconv-perl                   1.7-7+b1                         armhf                                                                     module to convert between character sets in Perl
ii  libtext-wrapi18n-perl                0.06-9                           all                                                                       internationalized substitute of Text::Wrap
ii  libtimedate-perl                     2.3300-2                         all                                                                       collection of modules to manipulate date/time information
ii  libtry-tiny-perl                     0.30-1                           all                                                                       module providing minimalistic try/catch
ii  libtype-tiny-perl                    1.012001-2                       all                                                                       tiny, yet Moo(se)-compatible type constraint
ii  libtype-tiny-xs-perl                 0.022-1                          armhf                                                                     boost for some of Type::Tiny's built-in type constraints
ii  libtypes-path-tiny-perl              0.006-1                          all                                                                       Path::Tiny types and coercions for Moose and Moo
ii  libtypes-serialiser-perl             1.01-1                           all                                                                       module providing simple data types for common serialisation formats
ii  libunicode-utf8-perl                 0.62-1+b2                        armhf                                                                     encoding and decoding of UTF-8 encoding form
ii  liburi-perl                          5.08-1                           all                                                                       module to manipulate and access URI strings
ii  libvariable-magic-perl               0.62-1+b3                        armhf                                                                     module to associate user-defined magic to variables from Perl
ii  libwww-perl                          6.52-1                           all                                                                       simple and consistent interface to the world-wide web
ii  libwww-robotrules-perl               6.02-1                           all                                                                       database of robots.txt-derived permissions
ii  libxstring-perl                      0.005-1+b1                       armhf                                                                     module containing isolated string helpers from B
ii  perl                                 5.32.1-4+deb11u3                 armhf                                                                     Larry Wall's Practical Extraction and Report Language
ii  perl-base                            5.32.1-4+deb11u3                 armhf                                                                     minimal Perl system
ii  perl-modules-5.32                    5.32.1-4+deb11u3                 all                                                                       Core Perl modules
ii  perl-openssl-defaults:armhf          5                                armhf                                                                     version compatibility baseline for Perl OpenSSL packages


[Otto123]

Weiterhin dachte ich, das es sicher auch einfacher ist den Altordner "opt/fhem/" einfach auf die neue Hardware zu kopieren oder macht das Probleme?

Vorteil von Backup / Restore: da braucht man sich nicht extra um die Zugriffsrechte kümmern, die werden mitkopiert.

Aber klar geht das auch mit kopieren, allerdings gibt es da eben auch mehrere Möglichkeiten.

Vielleicht hilft das hier mehr als die "Labertasche"    ? Du kannst am einfachsten, das was Du mal installiert hast, auf dem alten System auslesen. Ist dann auch nicht perfekt, weil sich Paketnamen geändert haben können.

Gruß Otto

[uron]

Danke Otto für deine Rückmeldung, den angebenen Link hatte ich auch gesehen. Ist mir aber deutlich zu komplex!
Ich könnte die einzelnen Schritte zwar blind abarbeiten, jedoch der kleinste Stolperstein führt bei mir zu Abbruch, deshalb habe ich einen anderen Weg gesucht und selbst Hand angelegt.
Um mein "Alt-System" zu schützen (es soll ja zunächst weiterlaufen), habe ich mir von der SD-Karte ein Image gezogen und es auf die SSD übertragen.
Und tatsächlich läuft das Neu-System augenscheinlich wie das Alt-System - immerhin!
Dann war meine Idee die, von bullseye auf bookworm upzugraden.

Dann kam ich zu dem Problem, was ich oben ansprach, es kommt eine Fehlermeldung und ich weiß nicht weiter

Code Auswählen Erweitern

pi@raspberrypi:~ $ sudo apt update
Hit:1 http://archive.raspberrypi.org/debian bullseye InRelease
Hit:2 http://raspbian.raspberrypi.org/raspbian bullseye InRelease
Err:3 https://debian.fhem.de/stable ./ InRelease
  403  Forbidden [IP: 2600:9000:266e:f200:15:107d:a980:93a1 443]
Reading package lists... Done
E: Failed to fetch https://debian.fhem.de/stable/./InRelease  403  Forbidden [IP: 2600:9000:266e:f200:15:107d:a980:93a1 443]
E: The repository 'https://debian.fhem.de/stable ./ InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
Wie kann ich diese Fehler fixen?

[Otto123]

Wie kann ich diese Fehler fixen?

zeig mal den Inhalt von /etc/apt/sources-list bzw. den Dateien in /etc/apt/sources-list.d/

Eventuell hast Du mal zu selten update gemacht

Ist mir aber deutlich zu komplex!

Hab ich das wirklich so schlimm beschrieben? Da stehen viele Möglichkeiten, Du musst ja nicht alles abarbeiten! Eine dieser Zeilen bzw. beide liefern Dir die History auf deinem alten System, völlig ohne Gefahr, es wird nur gelesen, Du musst nichts installieren!

Code Auswählen Erweitern

cat /var/log/apt/history.log|grep -A1 Start-Date
zcat $(ls -tr /var/log/apt/history.log.*.gz)|grep -A1 Start-Date

[uron]

sources-list

Code Auswählen Erweitern

deb http://raspbian.raspberrypi.org/raspbian/ bookworm main contrib non-free rpi
# Uncomment line below then 'apt-get update' to enable 'apt-get source'
#deb-src http://raspbian.raspberrypi.org/raspbian/ bookworm main contrib non-free rpi>Die erste Zeile hatte ich gem. eines Forumhinweises manuelle geändert bullsseye ->bookworm
sources-list.d
ist leer

Hab ich das wirklich so schlimm beschrieben?
Nein, ich habe nur keine Ahnung und verstehe nicht eine Zeile 

[Otto123]

eines Forumhinweises manuelle geändert bullsseye ->bookworm

Sorry, wenn Du keine Ahnung hast, dann solltest Du sowas nicht machen. Das ist keine Sache für Jedermann.

Bei so einer Aktion kann ich Dir nicht helfen, Du hast gesagt Du willst umziehen - heißt für mich: neues OS und neu installieren, Backup/Restore FHEM. Du machst jetzt ein Inplace Upgrade, da war mein Hinweis sowieso nutzlos.

ich habe nur keine Ahnung und verstehe nicht eine Zeile

Lies Dir bei Gelegenheit die Bedeutung der Befehle cat, grep und ls durch, ohne die wirst Du nicht weit kommen
Mehr wird ja nicht verwendet in meinen beiden Zeilen.

[uron]

OK Danke, dann starte ich in den nächsten Tagen nochmals neu. Für heute bin ich down!

[Otto123]

Um Deinen Einstieg mit der Aussage von MadMax von 2020! zu aktualisieren: neue Speicherkarte oder SSD und dort aktuelles Raspberry OS lite installieren von hier:
https://www.raspberrypi.com/software/operating-systems/
Am einfachsten mit dem Raspberry Pi Imager

[uron]

Ich denke, dann lag ich mit meiner Installation nicht falsch!

[Otto123]

Die erste Zeile hatte ich gem. eines Forumhinweises manuelle geändert bullsseye ->bookworm

Und wie soll ich das dann verstehen? 
und wie soll ich das Bullenauge im Post #2 verstehen?

[uron]

Hi Otto, vergiss erst einmal meinen Post #2, da hatte ich einen Forumsbefehl für Bullseye geändert und glaubte, ich könne ihn für bookworm umschreiben.
Nachdem ich mich nun entschieden habe, doch eine komplette Neuinstallation + Backup und Restore vom Altsystem durchzuführen folge ich deinen Hinweisen hier: Backup und Restore von FHEM

Mittlerweile habe ich mich mit den Befehlen cat, grep und ls intensiver befasst und habe eine Ahnung, was da passiert. Für das Verstehen der Attribute brauchts allerdings noch einige Zeit des Studiums.
Der erste Schritt (Systemimage neu aufspielen) und der zweite sind ja schnell erledigt, dann aber der Schritt Infos zur Installation von Modulen und Paketen. Ich habe alle meine Schritte versucht, sorgfältig zu bedenken und die jeweiligen Ausgaben dokumentiert. Bis hierher waren das ja alles Schritte zur Erkundung des Altsystems.
Weiter unten kommt dann der Schritt "Debian Pakete anhand von Perl Modulnamen finden" und

Code Auswählen Erweitern

sudo apt-get update.
Hier kommt wieder die Fehlermeldung von meinem Alt-System, die ich oben schon im Post #2 hatte:

Code Auswählen Erweitern

pi@raspberrypi:~ $ sudo apt-get update
Hit:1 http://archive.raspberrypi.org/debian bullseye InRelease
Hit:2 http://raspbian.raspberrypi.org/raspbian bullseye InRelease
Err:3 https://debian.fhem.de/stable ./ InRelease
  403  Forbidden [IP: 2600:9000:214f:ca00:15:107d:a980:93a1 443]
Reading package lists... Done
E: Failed to fetch https://debian.fhem.de/stable/./InRelease  403  Forbidden [IP: 2600:9000:214f:ca00:15:107d:a980:93a1 443]
E: The repository 'https://debian.fhem.de/stable ./ InRelease' is not signed.
N: Updating from such a repository can't be done securely, and is therefore disabled by default.
N: See apt-secure(8) manpage for repository creation and user configuration details.
Was bedeuten die Fehler, und wie kann man sie fixen, also die Frage von oben. Kannst und willst du weiterhelfen?

[Otto123]

Erkundung des Alt Systems: dabei hat für mich der Schritt Prio: Einfach die apt History auswerten! Da brauchst Du nichts zu installieren und Du hast die Namen der Pakete. Siehe mein Post #3 - normalerweise bist du danach fertig!
Du musst diese Anleitung nicht von oben nach unten abarbeiten! Das sind nur immer wieder neue Möglichkeiten!

Dein fehler ist jetzt im Alt System? Oder im Neu System? Wenn im Neu System dann interessiert mich wieder

zeig mal den Inhalt von /etc/apt/sources-list bzw. den Dateien in /etc/apt/sources-list.d/

Eigentlich kann dieser Fehler in einem Neu aufgesetztem System nicht kommen.

[uron]

Dein fehler ist jetzt im Alt System?

JA.

OK, dann weiter:

Code Auswählen Erweitern

cat /var/log/apt/history.log|grep -A1 Start-Date hatte nichts ergeben

Code Auswählen Erweitern

zcat $(ls -tr /var/log/apt/history.log.*.gz)|grep -A1 Start-Date das hier:

Code Auswählen Erweitern

Start-Date: 2022-10-03  11:57:33
Commandline: apt-get -y upgrade
Start-Date: 2022-10-03  11:58:32
Commandline: apt-get -y autoremove
Start-Date: 2022-10-03  12:00:00
Commandline: apt-get -y install apt-transport-https
Start-Date: 2022-10-03  12:07:40
Commandline: apt install fhem
Start-Date: 2022-10-03  21:19:26
Commandline: apt install libtypes-path-tiny-perl libjson-perl libdatetime-perl
Start-Date: 2022-10-03  21:45:56
Commandline: apt-get install sendemail libio-socket-ssl-perl libnet-ssleay-perl
Start-Date: 2023-03-24  11:32:04
Commandline: apt-get install avrdude
Start-Date: 2024-08-06  19:22:38
Commandline: apt upgrade
D.h. ich installiere die Pakete nun händisch (Reihenfolge egal?) und danach Restore!? Irgendwie dachte ich, ich muss vor dem Restore noch eine FHEM-Minimalversion installieren - steht aber eigentlich nirgendwo!

[Otto123]

Du hast also im alten System nicht viel installiert. Ja Du wiederholst einfach die gefundenen Zeilen. Reihenfolge ist egal. Achte auf ev. Fehlermeldungen bei der Installation.

Und Deine sources.list im alten System ist so verhunzt wie Du oben geschrieben hast Post #4? Dann solltest Du für einen weiteren Betrieb des alten Systems den Originalzustand wieder herstellen. Ich hoffe Du hast den noch?

[uron]

Also doch?

Code Auswählen Erweitern

sudo apt install fhemOder kommt das über "Restore" auf die Platte, ich denke nicht!
Wäre nicht

Code Auswählen Erweitern

wget http://fhem.de/fhem-6.3.tar.gzzuvor korrekt?