Offizielles FHEM Docker Basis Image für verschiedene Plattformen

[persching]

Zur Info:
ich konnte mein Problem lösen in dem ich die Daten manuell ausgecheckt habe und die Dateien in den entsprechenden Ordner kopiert habe. Dort war auch eine neue Version von "98_update.pm" dabei. Danach ein "shutdown restart" und nach dem Start ein "update" und alles funktionierte wieder wie gewohnt.

[ch.eick]

Hallo,
ich bin noch in der Orientierungsphase zu fhem mit docker.
Die docker Kenntniss sind sehr bescheiden.

Nun habe ich folgendes gefunden:
  klein0r / fhem-docker
Dies habe ich mit docker-compose sehr einfach installieren koennen, jedoch kaempf ich noch mit dem Status einiger Pakete, die anscheinend nicht installiert sind.
Die Container setzen dann wohl auch auf alpine und nicht auf buster auf, was mich etwas verwirrt hat.

Code Auswählen Erweitern


fhem_reverseproxy_1 running fhem nginx:latest
fhem_adminer_1 running fhem adminer
fhem_portainer_1 running fhem portainer/portainer:latest
fhem_mariadb_1 running fhem fhem_mariadb
fhem_fhem_1 running fhem fhem_fhem


Und dann noch aus diesem Thread:
   fhem / fhem-docker
Das hat mir ebenfalls ein fhem aufgesetzt, jedoch ohne db und reverseproxy. Hier scheint mir jedoch die Basis Installation kompletter und runder zu sein.
Ein fhem update all und node Update hat von anfangan geklappt, was in obiger Installation wegen fehlendem cpanm nicht klappte.
Portainer hatte ich bereits selber vom ersten testen bereits aufgesetzt.

Code Auswählen Erweitern


fhem stopped - fhem/fhem


Jetzt ist fuer mich die Frage, mit welcher Implementierung soll ich weiter machen, um mir nicht zu viele Probleme ein zu handeln?

Mein Ziel ist es fhem vom rpi2 auf den bereits laufenden rpi4 mit docker zu migrieren/sauber zu uebernehmen.
Wegen meiner PV-Anlage moechte ich das logging in eine DB ueberfuehren und mit Grafana darstellen.
Brauche ich den reverseproxy ueberhaupt, wenn ich von extern eh nur mit VPN auf fhem zugreife?
Ist docker-composer sinnvoll zu diesem Zeitpunkt?

Ueber Meinungen waere ich sehr erfreut.

Viele Gruesse
    Christian

[persching]

Hallo ch.eick,
ich habe auch erst seit kurzem docker und kann dir einfach mal meine docker-compose.yml hier rein stellen, vielleicht hilft dir die weiter:

Code Auswählen Erweitern

# This is an exmaple Docker Compose file to start your own Docker Stack

version: '2.3'

networks:
  net:
    driver: bridge
    enable_ipv6: true
    ipam:
      driver: default
      config:
        - subnet: 172.27.0.0/24
          gateway: 172.27.0.1
        - subnet: fd00:0:0:0:27::/80
          gateway: fd00:0:0:0:27::1
volumes:
  portainer_data:

services:

  ####
  # HINT: use only ONE of the example "fhem:" service
  # definitions below !
  #

  # Example w/ custom environment variables
  fhem:
    image: fhem/fhem:latest
    restart: always
    networks:
      - net
    expose:
      - "8088"
    ports:
      - "8083:8083"
      - "7072:7072"
    privileged: true
    devices:
      - "/dev/ttyACM0:/dev/ttyACM0"
    volumes:
      - "./core/:/opt/fhem/"
      - "./core/contrib/configDB/configDB.conf:/opt/fhem/configDB.conf"
    environment:
      FHEM_UID: 6061
      FHEM_GID: 6061
      TIMEOUT: 10
      RESTART: 1
      TELNETPORT: 7072
      TZ: Europe/Berlin
      CONFIGTYPE: configDB
    depends_on:
      - "mysql"
#     - "mariadb"
      - "mqtt"

  portainer:
    image: portainer/portainer:latest
    restart: always
    command: -H unix:///var/run/docker.sock --no-auth
    networks:
      - net
    ports:
      - "9000:9000"
    environment:
      - REGISTRY_HTTP_TLS_CERTIFICATE=/certs/portainer.crt
      - REGISTRY_HTTP_TLS_KEY=/certs/portainer.key
    volumes:
      - /var/run/docker.sock:/var/run/docker.sock
      - portainer_data:/data
      - /home/dirk/certs/portainer.key:/certs/portainer.key
      - /home/dirk/certs/portainer.crt:/certs/portainer.crt

  mysql:
    image: mysql/mysql-server:5.7
    restart: always
    networks:
      - net
    expose:
      - "3306"
      - "33060"
    ports:
      - "3306:3306"
      - "33060:33060"
    command: --sql_mode=""
    volumes:
      - ./mysql/init.sql:/docker-entrypoint-initdb.d/fhem-init.sql
      - ./mysql/log:/var/log
      - ./mysql/data:/var/lib/mysql
      - ./mysql/mycustom.cnf:/etc/mysql/conf.d/custom.cnf
    environment:
      - MYSQL_RANDOM_ROOT_PASSWORD=yes

#  mariadb:
#    image: mariadb/server:10.4
#    restart: always
#    networks:
#      - net
#    expose:
#      - "3306"
#      - "33060"
#    ports:
#      - "3306:3306"
#      - "33060:33060"
#    command: --sql_mode=""
#      - ./mariadb/init.sql:/docker-entrypoint-initdb.d/fhem-init.sql
#      - ./mariadb/log:/var/log
#      - ./mariadb/data:/var/lib/mysql
#      - ./mariadb/mycustom.cnf:/etc/mysql/conf.d/custom.cnf
#    environment:
#      - MYSQL_RANDOM_ROOT_PASSWORD=yes

  mqtt:
    image: toke/mosquitto
    restart: always
    networks:
      - net
    expose:
      - "1883"
      - "9001"
    ports:
      - "1883:1883"
      - "9001:9001"
    volumes:
      - ./mqtt/config/:/mqtt/config/
      - ./mqtt/log/:/mqtt/log/
      - ./mqtt/data/:/mqtt/data/

  nodered:
    image: nodered/node-red-docker:latest
    restart: always
    networks:
      - net
    expose:
      - "1880"
    ports:
      - "1880:1880"
    user: "1000:1000"
    volumes:
      - ./nodered/data/:/data/
    depends_on:
      - "mqtt"

  grafana:
    image: grafana/grafana:latest
    restart: always
    networks:
      - net
    expose:
      - "3000"
    ports:
      - "4000:3000"
    volumes:
      - ./grafana/data:/var/lib/grafana
      - ./grafana/log:/var/log/grafana
      - ./grafana/conf/mygrafana.ini:/etc/grafana/grafana.ini
    environment:
      - GF_SECURITY_ADMIN_PASSWORT={your password}
      - GF_LOG_MODE=console file
      - GF_LOG_LEVEL=debug
      - GF_RENDERING_SERVER_URL=http://{HOST IP}:8081/render
      - GF_RENDERING_CALLBACK_URL=http://{HOST IP}:4000/
      - GF_LOG_FILTERS=rendering:debug
    depends_on:
      - "mysql"
     # - "mariadb"

  renderer:
    image: grafana/grafana-image-renderer:latest
    restart: always
    networks:
      - net
    expose:
      - "8081"
    ports:
      - "8081:8081"
    depends_on:
      - "grafana"

mariaDB ist da auskommentiert, weil ich damit mal rumgespielt hatte aber es nicht so funktionierte wie erhofft. Ich hab dann aber auch nicht groß nach Fehlern gesucht und einfach weiterhin mysql genommen. Die Dinge in geschweifter Klammer musst du noch durch deine Daten ersetzen. MQTT und nodered kannst du bei Bedarf ja auch einfach weglassen. Port 8088 bei fhem ist für Daten per jsonlist an nodered zu bekommen.

Den Reverseproxy brauchst du in der Tat nicht, wenn du nur per VPN auf den raspi zugreifst.

[ch.eick]

Hallo persching,

vielen Dank, jetzt habe ich erst mal Futter und Urlaub , da komme ich dann sicher weiter.
Noch eine Frage, mit https hatte ich auf dem bisherigen System oft Fehlermeldungen. ich denke da gilt das Gleiche wie bei
dem reverseproxy, also nicht unbedingt notwendig, da ich nur per vpn von aussen ins Netz gehe.

Gruesse
   Christian

[AlpenFlizzer]

Hallo zusammen!

Erstmal großes Danke an Loredo für die Zeit, Mühe und Know-How, welches in diesem Image steckt. Da mir Docker etc. nicht gänzlich fremd ist, kann ich nachvollziehen wie viel Arbeit so ein schickes Image macht.

Ich habe bis vor Kurzem ein selbst gestaltetes Image für Fhem und Alexa-Fhem verwendet und bin jetzt letztendlich doch im Zuge einer Systemumstellung Zuhause auf KVMs+Docker (Proxmox VE für meine VMs) auf dein Image umgestiegen. (Vor allem, weil Alexa-Fhem nicht wollte wie ich...)

Ich habe aber dennoch eine Frage zum Status dieses kleinen Projektes...

Mir ist aufgefallen, dass die letzten Commits in beiden Branches auf Github schon eine Zeit her sind und das Repo auf Travis als inactive markeirt wurde. Die letzten Builds des dev Branches waren ja nicht successful (offensichtlich hat sich ein Problem nach Commit https://github.com/fhem/fhem-docker/commit/029bb604cf93510a193d16035304ed51936ca124 im dev Branch eingeschlichen). Der main Branch ist leider noch ein paar Commits hinterher...

Ich wollte deshalb mal vorsichtig nachfragen, ob du weiterhin Pflege an dem Image betreiben wirst oder du das Vorhaben (zB aufgrund des Aufwandes/Zeitmangels - völlig verständlich) vorerst auf Eis gelegt hast?

Danke nochmal für deine Arbeit!

LG Sascha

[ch.eick]

Hallo zusammen,

ich bearbeite gerade die Netzwerkintegration mit docker-compose, um meine ersten docker container ins Hausnetz zu integrieren. Durch Eure Hilfe bin ich bereits einige Schritte weiter,
doch es fehlt noch etwas. Gibt es eine Liste der docker-compose optionen? Ich habe bereits auf der Dokuseite von docker gesucht, komme jedoch immer nur zu Beispielen.
Durch Volker und Beispiele habe ich zB bereits einiges bekommen, was hier eingekuerzt fuer das Netzwerk ist:

Code Auswählen Erweitern


version: '3.3'

networks:
  net:
    driver: macvlan
    driver_opts:
      parent: eth0
    ipam:
      config:
        - subnet: 192.168.178.0/24

services:
  fhem:
    networks:
      net:
        ipv4_address: 192.168.178.42
    expose:
      - "8088"
    ports:
      - "9522:9522/udp"
      - "8083:8083"
      - "7072:7072"


Bisher kann ich die Service ipv4_adressen im Router bereits sehen.
Aus fhem heraus scheint das Netzwerk bereits zu arbeiten, denn IP_devices werden bereits erreicht.
Wegen den notwendigen udp Verbindung, die ich zum SMAEM benoetige habe ich "9522:9522/udp" eingetragen. Diese Verbindung kommt auch bereits zustande.

Was noch nicht funktioniert ist die http Verbindung zu den Webinterfaces in den Containern.

Code Auswählen Erweitern


http://192.168.178.41:9000 fuer Portainer
http://192.168.178.42:8083/fhem fuer fhem


Momentan wuerde mir ein flaches Netwerk genuegen, da ich nur per vpn von ausserhalb zugreife.

Die vorherige docker-compose Konfiguration funktionierte bereits, jedoch mit dem Manko, dass die udp Verbindung ins Hausnetz nicht klappte.
@Volker, vielen dank fuer die bisherige Hilfe, faellt Dir ansonsten noch auf wo mein Fehler liegt?

Fuer weitere Tipps waere ich sehr dankbar. Wie bereits geschrieben finde ich ums Verrecken nicht den Link zur docker-compose Netzwerk Optionen Seite

Viele Gruesse
     Christian

[ch.eick]

Hallo zusammen,
hier kommt noch ein Update meiner Experimente.

Ich habe es nun mit zwei Netzwerkdefinitionen versucht. Im Container finde ich auch beide.
Nun klappt wieder der Zugriff ueber das docker Netzwerk mit den Ports auf Portainer und Fhem.

Nur klappt es jetzt wieder nicht mit dem upd auf meinen SMAEM

Wie koennte ich denn zB. mit netcat die Verbindung testen, ich glaube da ist in den letzten Jahrzehnten einiges an Wissen verschuettet worden

Code Auswählen Erweitern


version: '3.3'

networks:
  net:
    driver: bridge
    ipam:
      driver: default
      config:
        - subnet: 172.27.0.0/24

net-udp:
    driver: macvlan
    driver_opts:
      parent: eth0
    ipam:
      config:
        - subnet: 192.168.178.0/24

####################################################

services:
  fhem:
   networks:
      net:

      net-udp:
        ipv4_address: 192.168.178.42

    expose:
      - "8088"

    ports:
      - "9522:9522/udp"
      - "8083:8083"
      - "7072:7072"



Code Auswählen Erweitern


root@30a6971e25ab:/opt/fhem# ifconfig -a
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 172.27.0.4  netmask 255.255.255.0  broadcast 172.27.0.255
        ether 02:42:ac:1b:00:04  txqueuelen 0  (Ethernet)
        RX packets 761  bytes 744085 (726.6 KiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 632  bytes 103985 (101.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

eth1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.178.42  netmask 255.255.255.0  broadcast 192.168.178.255
        ether 02:42:c0:a8:b2:2a  txqueuelen 0  (Ethernet)
        RX packets 2157  bytes 395236 (385.9 KiB)
        RX errors 0  dropped 942  overruns 0  frame 0
        TX packets 1492  bytes 138777 (135.5 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

root@30a6971e25ab:/opt/fhem# ping 192.168.178.16
PING 192.168.178.16 (192.168.178.16): 56 data bytes
64 bytes from 192.168.178.16: icmp_seq=0 ttl=64 time=3,238 ms

root@30a6971e25ab:/opt/fhem# route
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
default         gateway.docker. 0.0.0.0         UG    0      0        0 eth0
172.27.0.0      0.0.0.0         255.255.255.0   U     0      0        0 eth0
192.168.178.0   0.0.0.0         255.255.255.0   U     0      0        0 eth1


Gruss
   Christian

[kadettilac89]

Hallo zusammen,
hier kommt noch ein Update meiner Experimente.

Ich habe es nun mit zwei Netzwerkdefinitionen versucht. Im Container finde ich auch beide.
Nun klappt wieder der Zugriff ueber das docker Netzwerk mit den Ports auf Portainer und Fhem.

Nur klappt es jetzt wieder nicht mit dem upd auf meinen SMAEM

Bevor du hier weitermachst ... was genau willst du erreichen? Warum die ganzen Netzwerkdefinitionen? Funktioniert es im Standard, also Default bridge-mode? Ich würde erstmal alles mit Standardnetz aufbauen. Wenn das funktioniert kannst dich an das Splitten der Netzwerke machen. Aktuell weißt du nicht wo der Fehler zu suchen ist.

[ch.eick]

Bevor du hier weitermachst ... was genau willst du erreichen? Warum die ganzen Netzwerkdefinitionen? Funktioniert es im Standard, also Default bridge-mode? Ich würde erstmal alles mit Standardnetz aufbauen. Wenn das funktioniert kannst dich an das Splitten der Netzwerke machen. Aktuell weißt du nicht wo der Fehler zu suchen ist.

Hallo kadettilac.

Meine Ziele im groben:
- Die bestehende fhem Installation auf den rpi4 uebertragen
- Mich in Docker einarbeiten
- Die Flexibilitaet von Docker nutzen
- fhem mit mysql und dblog erweitern
- Das Strom Logging ins dblog ueberfuehren
- Diagramme mit graffana erstellen weil svg den Beduerfnissen nicht mehr standhaelt


Im Standardnetz laeuft alles mit der Ausnahme der udp Verbindung zum SMAEM. Durch Volker habe ich gelernt, dass die udp Verbindung nur laeuft, wenn der Fhem Container direkt im Hausnetz mit dem macvlan device betrieben wird https://forum.fhem.de/index.php/topic,51569.msg1006062.html#msg1006062

1. Ich hatte Portainer, mysql und fhem mit docker am laufen. Portainer wurde ueber Port 9000 , fhem mit Port 8083 und der Ip Adresse der rpi4 erreicht. Das lief dann ueber die docker Netzwerkebene mit der Port Freigabe.

2. Ich hatte dann als ersten Test nur den fhem Container mit dem macvlan und einer festen IP Adresse definiert und bekam dann die udp Verbindung zum SMAEM. Leider konnte ich dann fhem nicht mehr  ueber http auf Port 8083 erreichen.

3. Der aktuelle Test ist nun mit den zwei Netwerkdefinitionen. Nun kann ich wieder ueber die Docker Netzwerkverbindung Fhem und Portainer erreichen. Im Fhem Container ist das Hausnetz ebenfalls direkt aktiv. Am Router kann ich einmal die IP der rpi4 sehen und auch die zweite IP aus dem fhem Container.
Meine Vermutung ist nun, dass der Port 9522 und die mcast Adresse 239.12.255.254 fuer die Kommunikation mit dem SMAEM nicht ueber die zweite Netzwerk Konfiguration aus dem fhem Container laeuft.

Ich bin fuer jeden Vorschlag oder auch jede Aenderung im docker-compose offen. Was kann ich testen oder aendern?

Viele Gruesse
     Christian

[Loredo]

irgendwie schaffe ich es nicht den node.js package im fhem container zu aktualiseren.

Code Auswählen Erweitern


Error code E500   
Summary:
Parsing error - malformed JSON string, neither tag, array, object, number, string or atom, at character offset 277 (before "sh: 2: npm: Permissi...") at ./FHEM/42_npmjs.pm line 1160.
Detail:
{
"versions":
{"http_parser":"2.8.0","node":"10.17.0","v8":"6.8.275.32-node.54","uv":"1.28.0","zlib":"1.2.11","brotli":"1.0.7","ares":"1.15.0","modules":"64","nghttp2":"1.39.2","napi":"5","openssl":"1.1.1d","icu":"64.2","unicode":"12.1","cldr":"35.1","tz":"2019a"}
, "outdated": sh: 2: npm: Permission denied
}


Offenbar hat sich in neueren Versionen des npm Kommandos der Aufruf von "npm outdated" geändert bzw. kann dieser wohl nur noch als root ausgeführt werden.
Ich checke ein Update für 42_npmjs ein, welches dies behebt und stelle ein aktualisiertes Docker Image bereit.

[Loredo]

Mir ist aufgefallen, dass die letzten Commits in beiden Branches auf Github schon eine Zeit her sind und das Repo auf Travis als inactive markeirt wurde.

Das ist nicht beabsichtigt und etwas unerklärlich. Die einzige Erklärung, die mir dazu einfällt ist, dass viele andere Entwickler inzwischen ebenfalls mit Travis CI und dem FHEM Team auf Github (also alles unter https://github.com/fhem) experimentieren. Sie haben damit auch Zugriff auf die Travis Instanzen für fhem-docker und dabei hat sich wahrscheinlich jemand vertan. Anders kann ich mir das nicht erklären.


Ich schaue gerade den Build zu fixen.


Übrigens, die Motivation dazu ist gestern auch wieder etwas gestiegen, weil ich tatsächlich die ersten 10€ meines Lebens dafür gespendet bekommen habe    (neben der Zeit, die ich seit Monaten erst jetzt zwischen den Feiertagen einmal finde).

[kadettilac89]

Ich bin fuer jeden Vorschlag oder auch jede Aenderung im docker-compose offen. Was kann ich testen oder aendern?

Wenn ich dich richtig verstehe geht es hier um Multicast ... du schreibst auch dass dein Netz nicht nach außen geroutet ist. Teste mal die Container im Host-modus zu betreiben wenn du mit dem host-modus leben kannst,. Wenn das funktioniert brauchst du keine zusätzlichen Netzwerke im Docker. Ansonsten warten ob hier jemand was beitragen kann, ansonsten google ... es ist eine spezielle Anforderung.

Code Auswählen Erweitern


    network_mode: host


[ch.eick]

Hallo kadettilac.

Als workaround ist das erst mal okay. Das verhaelt sich dann jetzt so als ob alles native installiert waere, zumindest was das Netzwerk an geht.
Ich habe nun alle drei Docker Container mit  "network_mode: host" definiert und auch die Port Eintraege entfernt.

Das SMAEM Modul findet nun den SMAEM wieder und ich kann mit der IP Adresse des rpi4 und der entsprechenden Port Nummer die einzelnen Anwendungen in den Containern erreichen.

An einer etwas eleganteren Loesung waere ich jedoch weiterhin interessiert, da ich ja auch noch was dazu lernen moechte
Jetzt kann ich zumindest schon mal an den anderen Baustellen weiter machen.

Viele Gruesse
     Christian

[synci]

Kann mir jemand verraten wie ich es schaffe das unter /etc/sudoers.d/ ein File erhalten bleibt nach zB. einem Docker Image Update ?
Hab es ehrlich gesagt nicht verstanden mit den Entry Points etc.

Vielen Dank !

[kadettilac89]

Kann mir jemand verraten wie ich es schaffe das unter /etc/sudoers.d/ ein File erhalten bleibt nach zB. einem Docker Image Update ?
Hab es ehrlich gesagt nicht verstanden mit den Entry Points etc.

Vielen Dank !

Versuche es mit Volumes. Die Datei /sudoers/own_sudo liegt auf dem Host und wird dann nicht überschrieben. Das Verzeichnis und die Datei muss existieren bevor du den Container neu erzeugen lässt sonst wird ein Verzeichnis "own_sudo" erstellt.

Ob das bei sudo-Files funktioniert musst du testen ... wegen Berechtigungen könnte es sein, dass es dann nicht greift.

Code Auswählen Erweitern


        volumes:
            - ./fhem:/opt/fhem
            - ./sudoers/own_sudo:/etc/sudoers.d/own_sudo