[gelöst]MariaDB Container / MySQL funktioniert nicht mehr

fhemjan · 26 Mai 2023, 17:51:45

Hallo zusammen,
habe (leider) mal wieder eine Frage:
Von jetzt auf gleich funktioniert meine Datenbank nicht mehr, die nun einige Monate ohne jegliche Probleme lief.
Setup:
FHEM läuft im Docker Container auf einem Raspberry, MariaDB ebenfalls. Die Datenbank befindet sich auf dem selben Raspberry.

Ich bekomme in FHEM folgende Fehlermeldung:

Code Auswählen

DBI connect('database=fhem;host=192.168.178.210;port=3306','fhemuser',...) failed: Lost connection to MySQL server at 'handshake: reading initial communication packet', system error: 11 at ./FHEM/93_DbLog.pm line 3285

Im Container-Log der MariaDB bekomme ich folgenden Fehler, der sich quasi sekündlich wiederholt:

Code Auswählen

Caught SIGTERM signal!
cat: /var/run/mysqld/mysqld.pid: No such file or directory
230526 17:42:52 mysqld_safe Logging to '/config/databases/5cece56b75ed.err'.
230526 17:42:52 mysqld_safe Starting mariadbd daemon with databases from /config/databases

Interessant ist dass der Fehler bleibt, auch wenn ich Backups einspiele, von Zeiträumen an dem es noch lief?!

Hat jemand einen Tipp? Bzw. braucht ihr mehr Infos?
Vielen Dank schon mal!

DS_Starter · 26 Mai 2023, 18:11:29

In FHEM brauchst du nicht zu suchen, sondern eher im Umfeld des Betriebssystems und des Datenbankdienstes.

Im einfachsten Fall ist der Plattenplatz alle und deine DB stürzt ab.

Ansonsten kannst du dir anschauen wie andere User das Problem gelöst haben:
https://stackoverflow.com/questions/5755819/lost-connection-to-mysql-server-at-reading-initial-communication-packet-syste?page=1&tab=scoredesc#tab-top

oder

https://bobcares.com/blog/lost-connection-to-mysql-server-at-reading-initial-communication-packet/

Ein Blick in /var/log/mysql/error.log hilft vllt. auch.

Bzw. MySQL system error: 11 im Netz suchen.

fhemjan · 27 Mai 2023, 21:31:56

Hallo DS_Starter,
danke für deinen Beitrag!
Ich merke wie ich bei dem Fehler an meine Grenzen stoße.. ich finde recht viele Hinweise und Lösungswege, jedoch immer ohne Docker...

Ich bin noch ein paar Backups weiter zurück gegangen (ungefähr einen Monat) und mit dem Backup läuft es wieder... FHEM ist mit der Datenbank verbunden, die Plots sind gefüllt.
Der Fehler scheint sich jedoch schon anzukündigen. Im Log der MariaDB findet sich:

Code Auswählen

[custom-init] No custom files found, skipping...
230527 21:13:08 mysqld_safe Logging to '/config/databases/5cece56b75ed.err'.
230527 21:13:08 mysqld_safe Starting mariadbd daemon with databases from /config/databases
#################################################################
#                                                               #
#           An upgrade is required on your databases.           #
#                                                               #
#         Stop any services that are accessing databases        #
#          in this container, and then run the command          #
#                                                               #
#             mariadb-upgrade -u root -p<PASSWORD>              #
#                                                               #
#################################################################
[ls.io-init] done.

Ich habe das Gefühl, das ein Update von einem Container oder vom Raspberry selbst dazu führt, das der Fehler als gravierender eingeschätzt wird und das System dann streikt? Habe Watchtower erstmal gestoppt.. werde mal sukzessive Updaten und schauen ab wann es hakt

fhemjan · 01 Juni 2023, 18:23:50

Der Fehler ist nach 3 Tagen mit deaktiviertem Watchtower wieder aufgetreten. FHEM ist down und lässt sich nicht mehr starten, Datenbank verhält sich wieder wie oben beschrieben.
Hier die Container Details des MariaDB Containers:

Code Auswählen

{
    "AppArmorProfile": "",
    "Args": [],
    "Config": {
        "AttachStderr": false,
        "AttachStdin": false,
        "AttachStdout": false,
        "Cmd": null,
        "Domainname": "",
        "Entrypoint": [
            "/init"
        ],
        "Env": [
            "PUID=1000",
            "PGID=1000",
            "MYSQL_ROOT_PASSWORD=obSCn959fYu7KLPBsi6H",
            "TZ=Europe/Berlin",
            "PS1=$(whoami)@$(hostname):$(pwd)\\$",
            "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",
            "HOME=/root",
            "TERM=xterm",
            "S6_CMD_WAIT_FOR_SERVICES_MAXTIME=0",
            "S6_VERBOSITY=1",
            "S6_STAGE2_HOOK=/docker-mods",
            "LSIO_FIRST_PARTY=true",
            "MYSQL_DIR=/config",
            "DATADIR=/config/databases"
        ],
        "ExposedPorts": {
            "3306/tcp": {}
        },
        "Hostname": "5cece56b75ed",
        "Image": "lscr.io/linuxserver/mariadb:latest",
        "Labels": {
            "build_version": "Linuxserver.io version:- 10.6.12-r0-ls93 Build-date:- 2023-04-25T07:41:46+00:00",
            "maintainer": "thelamer,nemchik",
            "org.opencontainers.image.authors": "linuxserver.io",
            "org.opencontainers.image.created": "2023-04-25T07:41:46+00:00",
            "org.opencontainers.image.description": "[Mariadb](https://mariadb.org/) is one of the most popular database servers. Made by the original developers of MySQL.",
            "org.opencontainers.image.documentation": "https://docs.linuxserver.io/images/docker-mariadb",
            "org.opencontainers.image.licenses": "GPL-3.0-only",
            "org.opencontainers.image.ref.name": "3eb91af15bc320112cde5720f6e6877311c0f5c3",
            "org.opencontainers.image.revision": "3eb91af15bc320112cde5720f6e6877311c0f5c3",
            "org.opencontainers.image.source": "https://github.com/linuxserver/docker-mariadb",
            "org.opencontainers.image.title": "Mariadb",
            "org.opencontainers.image.url": "https://github.com/linuxserver/docker-mariadb/packages",
            "org.opencontainers.image.vendor": "linuxserver.io",
            "org.opencontainers.image.version": "10.6.12-r0-ls93"
        },
        "OnBuild": null,
        "OpenStdin": false,
        "StdinOnce": false,
        "Tty": false,
        "User": "",
        "Volumes": {
            "/config": {}
        },
        "WorkingDir": "/"
    },
    "Created": "2023-06-01T16:20:13.864759418Z",
    "Driver": "overlay2",
    "ExecIDs": null,
    "GraphDriver": {
        "Data": {
            "LowerDir": "/var/lib/docker/overlay2/c276e8e8e9413004a5236d2add93fbcb930dbf09d27f030770dd08f7eed24a9c-init/diff:/var/lib/docker/overlay2/97bd255cc31e5b8d643949d0ede080c5a6ec9ad1302c5b26968ce2aa615617a3/diff:/var/lib/docker/overlay2/3114e62c38e6de3190131271e8e85e80f036ae653ca2eb26d8e6f6f5619bd688/diff:/var/lib/docker/overlay2/eda891f2e89675cefb1593520c09fd888ed1d54dda0661ab92e73865b47dad4a/diff:/var/lib/docker/overlay2/445c169b88d4d40d9019c49cf9838df5aa0893c7e0876d9494a8663b6f3eb4be/diff:/var/lib/docker/overlay2/dd3252952aac91e9caf0049d8d7f95ba5f65e0d2cf27f48dbba12e75b28fd66c/diff:/var/lib/docker/overlay2/28a16afe2e822c164341eb677af0618298bf84b1be28a68e2d0d63bc16a69bd7/diff",
            "MergedDir": "/var/lib/docker/overlay2/c276e8e8e9413004a5236d2add93fbcb930dbf09d27f030770dd08f7eed24a9c/merged",
            "UpperDir": "/var/lib/docker/overlay2/c276e8e8e9413004a5236d2add93fbcb930dbf09d27f030770dd08f7eed24a9c/diff",
            "WorkDir": "/var/lib/docker/overlay2/c276e8e8e9413004a5236d2add93fbcb930dbf09d27f030770dd08f7eed24a9c/work"
        },
        "Name": "overlay2"
    },
    "HostConfig": {
        "AutoRemove": false,
        "Binds": [
            "/home/piuser1/docker/mariadb/config:/config"
        ],
        "BlkioDeviceReadBps": null,
        "BlkioDeviceReadIOps": null,
        "BlkioDeviceWriteBps": null,
        "BlkioDeviceWriteIOps": null,
        "BlkioWeight": 0,
        "BlkioWeightDevice": null,
        "CapAdd": [
            "AUDIT_WRITE",
            "CHOWN",
            "DAC_OVERRIDE",
            "FOWNER",
            "FSETID",
            "KILL",
            "MKNOD",
            "NET_BIND_SERVICE",
            "NET_RAW",
            "SETFCAP",
            "SETGID",
            "SETPCAP",
            "SETUID",
            "SYS_CHROOT"
        ],
        "CapDrop": [
            "AUDIT_CONTROL",
            "BLOCK_SUSPEND",
            "DAC_READ_SEARCH",
            "IPC_LOCK",
            "IPC_OWNER",
            "LEASE",
            "LINUX_IMMUTABLE",
            "MAC_ADMIN",
            "MAC_OVERRIDE",
            "NET_ADMIN",
            "NET_BROADCAST",
            "SYSLOG",
            "SYS_ADMIN",
            "SYS_BOOT",
            "SYS_MODULE",
            "SYS_NICE",
            "SYS_PACCT",
            "SYS_PTRACE",
            "SYS_RAWIO",
            "SYS_RESOURCE",
            "SYS_TIME",
            "SYS_TTY_CONFIG",
            "WAKE_ALARM"
        ],
        "Cgroup": "",
        "CgroupParent": "",
        "CgroupnsMode": "private",
        "ConsoleSize": [
            0,
            0
        ],
        "ContainerIDFile": "",
        "CpuCount": 0,
        "CpuPercent": 0,
        "CpuPeriod": 0,
        "CpuQuota": 0,
        "CpuRealtimePeriod": 0,
        "CpuRealtimeRuntime": 0,
        "CpuShares": 0,
        "CpusetCpus": "",
        "CpusetMems": "",
        "DeviceCgroupRules": null,
        "DeviceRequests": null,
        "Devices": [],
        "Dns": [],
        "DnsOptions": [],
        "DnsSearch": [],
        "ExtraHosts": [],
        "GroupAdd": null,
        "IOMaximumBandwidth": 0,
        "IOMaximumIOps": 0,
        "Init": false,
        "IpcMode": "private",
        "Isolation": "",
        "Links": null,
        "LogConfig": {
            "Config": {},
            "Type": "json-file"
        },
        "MaskedPaths": [
            "/proc/asound",
            "/proc/acpi",
            "/proc/kcore",
            "/proc/keys",
            "/proc/latency_stats",
            "/proc/timer_list",
            "/proc/timer_stats",
            "/proc/sched_debug",
            "/proc/scsi",
            "/sys/firmware"
        ],
        "Memory": 0,
        "MemoryReservation": 0,
        "MemorySwap": 0,
        "MemorySwappiness": null,
        "NanoCpus": 0,
        "NetworkMode": "fhem-network",
        "OomKillDisable": null,
        "OomScoreAdj": 0,
        "PidMode": "",
        "PidsLimit": null,
        "PortBindings": {
            "3306/tcp": [
                {
                    "HostIp": "",
                    "HostPort": "3306"
                }
            ]
        },
        "Privileged": false,
        "PublishAllPorts": false,
        "ReadonlyPaths": [
            "/proc/bus",
            "/proc/fs",
            "/proc/irq",
            "/proc/sys",
            "/proc/sysrq-trigger"
        ],
        "ReadonlyRootfs": false,
        "RestartPolicy": {
            "MaximumRetryCount": 0,
            "Name": "unless-stopped"
        },
        "Runtime": "runc",
        "SecurityOpt": null,
        "ShmSize": 67108864,
        "UTSMode": "",
        "Ulimits": null,
        "UsernsMode": "",
        "VolumeDriver": "",
        "VolumesFrom": null
    },
    "HostnamePath": "/var/lib/docker/containers/3cb977b6d2137948faa0d70b8a7e2010b6b7d5f1bb0ba9c62b27a94fbfac0c10/hostname",
    "HostsPath": "/var/lib/docker/containers/3cb977b6d2137948faa0d70b8a7e2010b6b7d5f1bb0ba9c62b27a94fbfac0c10/hosts",
    "Id": "3cb977b6d2137948faa0d70b8a7e2010b6b7d5f1bb0ba9c62b27a94fbfac0c10",
    "Image": "sha256:4d983bf628402105000820372e136896972c8e8b190b68d4651becd6e132ef30",
    "LogPath": "/var/lib/docker/containers/3cb977b6d2137948faa0d70b8a7e2010b6b7d5f1bb0ba9c62b27a94fbfac0c10/3cb977b6d2137948faa0d70b8a7e2010b6b7d5f1bb0ba9c62b27a94fbfac0c10-json.log",
    "MountLabel": "",
    "Mounts": [
        {
            "Destination": "/config",
            "Mode": "",
            "Propagation": "rprivate",
            "RW": true,
            "Source": "/home/piuser1/docker/mariadb/config",
            "Type": "bind"
        }
    ],
    "Name": "/mariaDB",
    "NetworkSettings": {
        "Bridge": "",
        "EndpointID": "",
        "Gateway": "",
        "GlobalIPv6Address": "",
        "GlobalIPv6PrefixLen": 0,
        "HairpinMode": false,
        "IPAddress": "",
        "IPPrefixLen": 0,
        "IPv6Gateway": "",
        "LinkLocalIPv6Address": "",
        "LinkLocalIPv6PrefixLen": 0,
        "MacAddress": "",
        "Networks": {
            "fhem-network": {
                "Aliases": [
                    "5cece56b75ed",
                    "9f845c8d1779",
                    "143fb646790a",
                    "06531a3fbc7e",
                    "fa4d7af686ad",
                    "e59f32eddc38",
                    "6c63066779e4",
                    "c510b1d2386e",
                    "59ce3de16b8b",
                    "758f9dc07d9d",
                    "542c56d213cd",
                    "e41ddde95def",
                    "60208898f8c1",
                    "cf0005728fed",
                    "ce719c9510b3",
                    "4f698b2baf9d",
                    "fd30e73794a6",
                    "f0902488f64b",
                    "2d777f870d06",
                    "3aa2d3b580c2",
                    "cf4ce3fd2557",
                    "1785498c76e2",
                    "2a07fa256cbc",
                    "000ba68b6089",
                    "b2b19a5679c1",
                    "30a5f50b509f",
                    "3cb977b6d213"
                ],
                "DriverOpts": null,
                "EndpointID": "7c86c7dc8d688d19318f3229e14e8abfe6ed2e434160253abc3736e8ed85c60d",
                "Gateway": "172.18.0.1",
                "GlobalIPv6Address": "",
                "GlobalIPv6PrefixLen": 0,
                "IPAMConfig": {},
                "IPAddress": "172.18.0.2",
                "IPPrefixLen": 16,
                "IPv6Gateway": "",
                "Links": null,
                "MacAddress": "02:42:ac:12:00:02",
                "NetworkID": "5ca1b7c73c4640168d81c4574c2cac1c656caf0b1111f3ccaf4f6751e84437b5"
            }
        },
        "Ports": {
            "3306/tcp": [
                {
                    "HostIp": "0.0.0.0",
                    "HostPort": "3306"
                },
                {
                    "HostIp": "::",
                    "HostPort": "3306"
                }
            ]
        },
        "SandboxID": "f48a7c12c5283149836e0888838c284315818c5756fff58643d0f9c5a1e09d51",
        "SandboxKey": "/var/run/docker/netns/f48a7c12c528",
        "SecondaryIPAddresses": null,
        "SecondaryIPv6Addresses": null
    },
    "Path": "/init",
    "Platform": "linux",
    "Portainer": {
        "ResourceControl": {
            "Id": 86,
            "ResourceId": "3cb977b6d2137948faa0d70b8a7e2010b6b7d5f1bb0ba9c62b27a94fbfac0c10",
            "SubResourceIds": [],
            "Type": 1,
            "UserAccesses": [],
            "TeamAccesses": [],
            "Public": false,
            "AdministratorsOnly": true,
            "System": false
        }
    },
    "ProcessLabel": "",
    "ResolvConfPath": "/var/lib/docker/containers/3cb977b6d2137948faa0d70b8a7e2010b6b7d5f1bb0ba9c62b27a94fbfac0c10/resolv.conf",
    "RestartCount": 0,
    "State": {
        "Dead": false,
        "Error": "",
        "ExitCode": 0,
        "FinishedAt": "0001-01-01T00:00:00Z",
        "OOMKilled": false,
        "Paused": false,
        "Pid": 29670,
        "Restarting": false,
        "Running": true,
        "StartedAt": "2023-06-01T16:20:14.624859706Z",
        "Status": "running"
    }
}

Mich macht die Host IP 0.0.0.0 stutzig bei der Portzuweisung?! Müsste hier nicht die IP des Raspberries stehen? Ich seh allerdings gerade auch in Portainer nicht wie ich es ändere?

DS_Starter · 01 Juni 2023, 18:30:18

Vielleicht ist es besser das Thema nach Server - Linux zu verschieben.
Und auch den Titel ändern. Das hat nichts mit DbLog zu tun.

Verschieben kannst nur du mit einem Knopf links unten.

Wernieman · 01 Juni 2023, 18:31:22

0.0.0.0 ist jede IP, also hier normal.

Gib un sbitte mal auf der Maschine:

Code Auswählen

df 
df -i

Und was hast Du für Lösungen gesehen? MariaDB im Docker unterscheidet sich sehr wenig von MariaDB auf dem Host .....

Kommst Du ohne FHEM auf die DB? Also mit mysql?

fhemjan · 15 Juni 2023, 18:53:04

Irgendwie hängt es mit meine FHEM-Problem zusammen. Bei Einspielen eines Backups funktioniert FHEM erst einmal wieder, die Diagramme in FHEM sind jedoch alle leer und ich kann auf die DB auch nicht mit myphpadmin zugreifen. Wenn ich bei der Portzuweisung des MariaDB Containers statt 0.0.0.0 die IP des Raspberrys eingebe kann ich mit phpmyadmin auf die Datenbank zugreifen. Über FHEM funktioniert es trotzdem nicht.

df gibt

Code Auswählen

Filesystem                            1K-blocks       Used   Available Use% Mounted on
/dev/root                              15014384    9401624     5050724  66% /
devtmpfs                                1700956          0     1700956   0% /dev
tmpfs                                   1965180          0     1965180   0% /dev/shm
tmpfs                                    786076       1260      784816   1% /run
tmpfs                                      5120          4        5116   1% /run/lock
/dev/mmcblk0p1                           258095      51409      206687  20% /boot
192.168.178.8:/volume2/networkshare 22490193664 8888387968 13601805696  40% /home/piuser1/networkshare
tmpfs                                    393036          0      393036   0% /run/user/1000

df -i

Code Auswählen

Filesystem                          Inodes  IUsed  IFree IUse% Mounted on
/dev/root                           958464 141626 816838   15% /
devtmpfs                            425239    452 424787    1% /dev
tmpfs                               491295      1 491294    1% /dev/shm
tmpfs                               819200    853 818347    1% /run
tmpfs                               491295      4 491291    1% /run/lock
/dev/mmcblk0p1                           0      0      0     - /boot
192.168.178.8:/volume2/networkshare      0      0      0     - /home/piuser1/networkshare
tmpfs                                98259     19  98240    1% /run/user/1000

Bzgl. der Lösungswege die ich gefunden habe muss ich noch mal googlen, dann kann ich die Links hier posten. Das krieg ich leider aber erst morgen unter.

fhemjan · 15 Juni 2023, 18:59:26

Zitat von: Wernieman am 01 Juni 2023, 18:31:22Und was hast Du für Lösungen gesehen? MariaDB im Docker unterscheidet sich sehr wenig von MariaDB auf dem Host .....

z.B. dies: https://superuser.com/questions/980841/why-is-mysqld-pid-and-mysqld-sock-missing-from-my-system-even-though-the-val
Ich bin damals mit der Antwort in der Lösung nicht ganz klar gekommen, aber das müsste ich eigentlich doch hinbekommen. Ich versuch es grade mal schnell

edit: Es scheitert an den letzten beiden Befehlen

Code Auswählen

piuser1@raspberrypi:/var/run $ sudo chown mysql:mysql -R /var/run/mysqld
chown: invalid user: 'mysql:mysql'
piuser1@raspberrypi:/var/run $ sudo service mysql restart
Failed to restart mysql.service: Unit mysql.service not found.

Wernieman · 15 Juni 2023, 21:36:25

der chown kann nicht funktionieren, weil natürlich der User mysql extern (auf dem Host) nicht existiert.

Wenn Du den Container hocfährst, kannst Du mit docker logs <Containername> die die Logausgabe ansehen. was steht drin?

Und btw: Hast Du den Port von mysql freigegeben?

fhemjan · 23 September 2023, 12:31:09

Hallo,
sorry, ich hab das Thema ein paar Monate schleifen lassen und mich erstmal um andere Dinge gekümmert. Das Problem besteht nach wie vor, der MariaDB und der FHEM Container laufen nicht mehr richtig.
MariaDB läuft, aber nicht wie er soll.
FHEM startet überhaupt nicht.

Zitat von: Wernieman am 15 Juni 2023, 21:36:25Wenn Du den Container hocfährst, kannst Du mit docker logs <Containername> die die Logausgabe ansehen. was steht drin?

Ich werde hiermit sekündlich zugebombt:

Code Auswählen

Caught SIGTERM signal!
cat: /var/run/mysqld/mysqld.pid: No such file or directory
230603 09:29:54 mysqld_safe Logging to '/config/databases/5cece56b75ed.err'.
230603 09:29:54 mysqld_safe Starting mariadbd daemon with databases from /config/databases
Caught SIGTERM signal!
cat: /var/run/mysqld/mysqld.pid: No such file or directory
230603 09:29:55 mysqld_safe Logging to '/config/databases/5cece56b75ed.err'.
230603 09:29:55 mysqld_safe Starting mariadbd daemon with databases from /config/databases
Caught SIGTERM signal!
cat: /var/run/mysqld/mysqld.pid: No such file or directory
230603 09:29:56 mysqld_safe Logging to '/config/databases/5cece56b75ed.err'.
230603 09:29:56 mysqld_safe Starting mariadbd daemon with databases from /config/databases
Caught SIGTERM signal!
cat: /var/run/mysqld/mysqld.pid: No such file or directory
230603 09:29:57 mysqld_safe Logging to '/config/databases/5cece56b75ed.err'.
230603 09:29:57 mysqld_safe Starting mariadbd daemon with databases from /config/databases

Zitat von: Wernieman am 15 Juni 2023, 21:36:25Und btw: Hast Du den Port von mysql freigegeben?

Ich habe Port 3306 auf 3306 TCP gelegt:

Code Auswählen

PORT CONFIGURATION    
192.168.178.210:3306  3306/tcp

Zwischenzeitlich ist mir aufgefallen, dass die SD-Karte voll war. Vermutlich aufgrund von neuen images die Watchtower gezogen hat? Denn so groß war die Datenbank eigentlich noch nicht. Habe jetzt per Backup auf eine deutlich größere Speicherkarte gewechselt: 16GB --> 128GB.
Nun gibt es ausreichend Platz, mein Problem besteht aber Du darfst diesen Dateianhang nicht ansehen. unverändert..

Nachtrag:
Ich kann mich auch über phpMyAdmin nicht mehr mit der Datenbank verbinden
Du darfst diesen Dateianhang nicht ansehen.

Wernieman · 23 September 2023, 14:50:35

1. Bringe Watchtower bei, alte Images zu löschen
2. Du hast direkt in Portainer angelegt? Oder arbeitest Du (besser) mit docker-compose.yml (dann bitte posten)?
3. Sagt die Logausgabe immer noch das gleiche?
4. Logausgabe (Logfile) von mariadb selber?

fhemjan · 23 September 2023, 21:44:28

Hallo Wernieman,
ich habe grade schon im anderen Post geschrieben, dass sich das Problem (fast) gelöst hat. Man könnte sagen es hat sich nun etwas verschoben --> https://forum.fhem.de/index.php?msg=1287618
Vielleicht fällt dir dazu auch was ein? So oder so vielen Dank für deine Unterstützung!!

edit: Es funktioniert jetzt alles (s. verlinkter Thread). Danke an alle!!