Offizielles FHEM Docker Basis Image für verschiedene Plattformen

[ch.eick]

Das ist das npm update, welches durchgeführt werden muss. Ich habe gerade auch für Velux KLF noch ein paar perl module nachinstalliert, da das Modul disconnected geblieben ist (IO::Socket::SSL, Net::SSL, Net::SSLeay, Net::SSLeay::Handle, Crypt::SSLeay, Net::Server::Proto::SSL), Danach war das Velux auch wieder online...

Wie hier https://forum.fhem.de/index.php/topic,89745.msg1159595.html#msg1159595 geschrieben kann man das bei der Erstellung des Containers angeben.

[JF Mennedy]

Danke für den Hinweis Werde ich mir später anschauen... Muss jetzt die Kinder abholen und danach wird wohl erstmal nix mit weiterbauen, bis sie im Bett sind

EDIT: Vielen lieben Dank, der Container läuft seit ein Tagen sauber.. Heute habe ich noch das Installieren von Modulen mit eingepflegt, und alles funktioniert, wie es soll

[ch.eick]

Hallo zusammen,
mich beschäftigt immer wieder ein Phyton Problem im FHEM Docker Container, das vor dem update des Containers schon stabiel gelaufen ist.
Im Buster auf dem RPI funktioniert es auch immer noch!

Nativ im Buster

Code Auswählen Erweitern


fhem@raspberrypi:~/python/bin$ pip3 install vallox-websocket-api
Looking in indexes: https://pypi.org/simple, https://www.piwheels.org/simple
Requirement already satisfied: vallox-websocket-api in /mnt/ssd/home/pi/docker-compose/fhem_2021/core/.local/lib/python3.7/site-packages (2.6.0)
Requirement already satisfied: construct<3.0.0,>=2.9.0 in /usr/local/lib/python3.7/dist-packages (from vallox-websocket-api) (2.9.45)
Requirement already satisfied: websockets<9.0,>=7.0 in /usr/local/lib/python3.7/dist-packages (from vallox-websocket-api) (7.0)
fhem@raspberrypi:~/python/bin$ /usr/bin/python3 -V
Python 3.7.3

fhem@raspberrypi:~/python/bin$ /usr/bin/python3 ./kwl_status.py 192.168.178.11 192.168.178.40
>>>>> Das Skript fragt die KWL ab und sendet einen JSON String an FHEM


Nun im Docker mit dem aktuellen FHEM Container

Code Auswählen Erweitern


root@raspberrypi:/opt/fhem# pip3 install vallox-websocket-api
Requirement already satisfied: vallox-websocket-api in /usr/local/lib/python3.7/dist-packages (2.6.0)
Requirement already satisfied: construct<3.0.0,>=2.9.0 in /usr/local/lib/python3.7/dist-packages (from vallox-websocket-api) (2.10.67)
Requirement already satisfied: websockets<9.0,>=7.0 in /usr/local/lib/python3.7/dist-packages (from vallox-websocket-api) (8.1)
root@raspberrypi:/opt/fhem# /usr/bin/python3 -V
Python 3.7.3

root@raspberrypi:/opt/fhem# /usr/bin/python3 /opt/fhem/python/bin/kwl_status.py 192.168.178.11 192.168.178.40
Traceback (most recent call last):
  File "/opt/fhem/python/bin/kwl_status.py", line 7, in <module>
    from vallox_websocket_api import Client
  File "/usr/local/lib/python3.7/dist-packages/vallox_websocket_api/__init__.py", line 1, in <module>
    from .client import Client
  File "/usr/local/lib/python3.7/dist-packages/vallox_websocket_api/client.py", line 7, in <module>
    from .messages import (LogReadRequest, LogReadResponse1, LogReadResponse2,
  File "/usr/local/lib/python3.7/dist-packages/vallox_websocket_api/messages.py", line 92, in <module>
    Struct("id" / LogItemId, "date" / DateAdapter(Bytes(5)), "value" / Int16ul)
  File "/usr/local/lib/python3.7/dist-packages/construct/core.py", line 444, in compile
    module = importlib.util.module_from_spec(module_spec)
AttributeError: module 'importlib' has no attribute 'util'

Leider kann ich mit meinen Kenntnissen das Problem nicht beseitigen, obwohl ich auch schon im Netz gesucht habe, es jedoch nicht verstehe.
Die aktuelleren Versionen von "construct" und "websockets" wären für mich denkbar.

Wie geschrieben, hat es bis vor dem Container update gelaufen.

.yml

Code Auswählen Erweitern


  fhem:
    image: fhem/fhem:latest
    restart: always
    network_mode: host
    privileged: true
    volumes:
      - "./core/:/opt/fhem/"
    environment:
      PIP_PKGS: "vallox_websocket_api fhem beautifulsoup4"   <<< Das habe ich nicht verändert und ist so noch von vor dem update des Containers

      CPAN_PKGS: "Crypt::OpenSSL::AES XML::Bare XML::Bare Protocol::WebSocket::Handshake::Server Crypt::Rijndael Crypt::Random --verbose"
      FHEM_UID: 6061
      FHEM_GID: 6061
      TIMEOUT: 10
      RESTART: 1
      TELNETPORT: 7072
      TZ: Europe/Berlin
    depends_on:
      - "mysql"


VG
   Christian

[kadettilac89]

das ist ein reiner python fehler. Was genau installierst du überhaupt, und was meinst du mit "das vor dem update des Containers schon stabil gelaufen ist"

Baust du den Container grad neu, oder was bezweckst du? Kannst du den Container verwerfen und die Schritte wiederholen? Ich gehe davon aus, dass es eine Vorraussetzung eines Fhem-Moduls ist und du nach einer Anleitung irgendwo in der Commandraf oder Wiki vorgehst. Du könntest mal im Forumteil "kwl_status.py" wenn es dazu ein Fhem-Modul gibt nachfragen.

Im Fhem-Modul auf Device-Specific-Help klicken, dann siehst du wo am besten zu posten ist.

Edit: du hast ein system das geht, eines das nichgt geht. Mit Befehl unten kannst du mal die Python Module vergleichen, vielleicht siehst du da was, ein fehlendes Modul oder eine andere Version. Könnte bei der Suche helfen

Code Auswählen Erweitern


pip3 list


[ch.eick]

das ist ein reiner python fehler. Was genau installierst du überhaupt, und was meinst du mit "das vor dem update des Containers schon stabil gelaufen ist"

Baust du den Container grad neu, oder was bezweckst du? Kannst du den Container verwerfen und die Schritte wiederholen? Ich gehe davon aus, dass es eine Vorraussetzung eines Fhem-Moduls ist und du nach einer Anleitung irgendwo in der Commandraf oder Wiki vorgehst. Du könntest mal im Forumteil "kwl_status.py" wenn es dazu ein Fhem-Modul gibt nachfragen.

Im Fhem-Modul auf Device-Specific-Help klicken, dann siehst du wo am besten zu posten ist.

Edit: du hast ein system das geht, eines das nicht geht. Mit Befehl unten kannst du mal die Python Module vergleichen, vielleicht siehst du da was, ein fehlendes Modul oder eine andere Version. Könnte bei der Suche helfen

Es handelt sich um ein Phyton Skript, das mit dem Modul vallox-websocket-api mit einer KWL kommuniziert. Mit dem Phyton Modul "fhem" wird das JSON Ergebnis ins FHEM übergeben. Also alles Phyton!
Ich hatte einen Docker FHEM Container, der das alles bis zum letzten Container Update fehlerfrei betrieben hat.
Die Phyton Module habe ich wie im .yml File zu finden nachinstalliert. Hier wurde auch nichts geändert und die Module sind auch nicht aktueller geworden.
Somit ist mein Rückschluss, dass im Docker FHEM Container irgend etwas anders geworden ist.

Auf dem RPI läuft Buster und dort funktioniert es auch noch.

Edit: du hast ein system das geht, eines das nicht geht. Mit Befehl unten kannst du mal die Python Module vergleichen, vielleicht siehst du da was, ein fehlendes Modul oder eine andere Version. Könnte bei der Suche helfen

Okay, was ich sehen kann ist, dass es im Container aktuellere Phyton Module gibt.

Dies habe ich im .yml konfiguriert

Code Auswählen Erweitern


PIP_PKGS: "vallox_websocket_api fhem beautifulsoup4"

Die Kommunikation geht über websockets

Und das wird importiert

Code Auswählen Erweitern


import fhem
import json
import asyncio
from vallox_websocket_api import Client

import sys
...


Phyton im FHEM Container, hier läuft es nicht

Code Auswählen Erweitern


pip3 list
Package              Version 
-------------------- ---------
beautifulsoup4       4.9.3 
vallox-websocket-api 2.6.0   
fhem                 0.6.5   

websockets           8.1   
 
certifi              2018.8.24
chardet              3.0.4   
construct            2.10.67 
idna                 2.6     
ifaddr               0.1.6   
pip                  18.1     
protobuf             3.6.1   
PyChromecast         2.4.0   
requests             2.21.0   
setuptools           40.8.0   
six                  1.12.0   
soupsieve            2.2.1   
speedtest-cli        2.0.2   
urllib3              1.24.1   
wheel                0.32.3   
youtube-dl           2019.1.17
zeroconf             0.21.3


Phyton im Buster, hier läuft es noch

Code Auswählen Erweitern


$ pip3 list
Package              Version   
-------------------- -----------
beautifulsoup4       4.9.3     
vallox-websocket-api 2.6.0   
fhem                 0.6.5     
websockets           7.0   

websocket-client     0.53.0     

appdirs              1.4.3     
asn1crypto           0.24.0     
astroid              2.1.0     
asttokens            1.1.13     
automationhat        0.2.0     
blinker              1.4       
blinkt               0.1.2     
buttonshim           0.0.2     
cached-property      1.5.1     
Cap1xxx              0.1.3     
certifi              2018.8.24 
chardet              3.0.4     
Click                7.0       
colorama             0.3.7     
colorzero            1.1       
construct            2.9.45     
cookies              2.2.1     
cryptography         2.6.1     
cupshelpers          1.0       
cycler               0.10.0     
decorator            4.3.0     
distro               1.3.0     
docker               3.4.1     
docker-compose       1.21.0     
docker-pycreds       0.3.0     
dockerpty            0.4.1     
docopt               0.6.2     
docutils             0.14       
drumhat              0.1.0     
entrypoints          0.3       
envirophat           1.0.0     
ExplorerHAT          0.4.2     
Flask                1.0.2     
fourletterphat       0.1.0     
gpiozero             1.5.1     
guizero              0.6.0     
html5lib             1.0.1     
idna                 2.6       
ipykernel            4.9.0     
ipython              5.8.0     
ipython-genutils     0.2.0     
isort                4.3.4     
itsdangerous         0.24       
jedi                 0.13.2     
Jinja2               2.10       
jsonschema           2.6.0     
jupyter-client       5.2.3     
jupyter-core         4.4.0     
keyring              17.1.1     
keyrings.alt         3.1.1     
kiwisolver           1.0.1     
lazy-object-proxy    1.3.1     
logilab-common       1.4.2     
lxml                 4.3.2     
MarkupSafe           1.1.0     
matplotlib           3.0.2     
mccabe               0.6.1     
microdotphat         0.2.1     
mote                 0.0.4     
motephat             0.0.3     
mypy                 0.670     
mypy-extensions      0.4.1     
nudatus              0.0.4     
numpy                1.16.2     
oauthlib             2.1.0     
olefile              0.46       
pantilthat           0.0.7     
parso                0.3.1     
pexpect              4.6.0     
pgzero               1.2       
phatbeat             0.1.1     
pianohat             0.1.0     
picamera             1.13       
pickleshare          0.7.5     
picraft              1.0       
piglow               1.2.5     
pigpio               1.78       
Pillow               5.4.1     
pip                  18.1       
prompt-toolkit       1.0.15     
psutil               5.5.1     
pycairo              1.16.2     
pycodestyle          2.4.0     
pycrypto             2.6.1     
pycryptodome         3.9.7     
pycups               1.9.73     
pyflakes             2.0.0     
pygame               1.9.4.post1
Pygments             2.3.1     
PyGObject            3.30.4     
pyinotify            0.9.6     
PyJWT                1.7.0     
pylint               2.2.2     
pyOpenSSL            19.0.0     
pyparsing            2.2.0     
pyserial             3.4       
pysmbc               1.0.15.6   
python-apt           1.8.4.3   
python-dateutil      2.7.3     
pyxdg                0.25       
PyYAML               3.13       
pyzmq                17.1.2     
qtconsole            4.3.1     
rainbowhat           0.1.0     
reportlab            3.5.13     
requests             2.21.0     
requests-oauthlib    1.0.0     
responses            0.9.0     
roman                2.0.0     
RPi.GPIO             0.7.0     
RTIMULib             7.2.1     
scrollphat           0.0.7     
scrollphathd         1.2.1     
SecretStorage        2.3.1     
semver               2.0.1     
Send2Trash           1.5.0     
sense-emu            1.1       
sense-hat            2.2.0     
setuptools           40.8.0     
simplegeneric        0.8.1     
simplejson           3.16.0     
six                  1.12.0     
skywriter            0.0.7     
sn3218               1.2.7     
soupsieve            1.8       
spidev               3.4       
ssh-import-id        5.7       
texttable            1.6.0     
thonny               3.3.6     
tornado              5.1.1     
touchphat            0.0.1     
traitlets            4.3.2     
twython              3.7.0     
typed-ast            1.3.1     
uflash               1.2.4     
unicornhathd         0.0.4     
urllib3              1.24.1     
wcwidth              0.1.7     
webencodings         0.5.1     
Werkzeug             0.14.1     
wheel                0.32.3     
wrapt                1.10.11


[kadettilac89]

Ich hatte einen Docker FHEM Container, der das alles bis zum letzten Container Update fehlerfrei betrieben hat.

Welches Update meinst du? docker pull fhem/fhem:latest wurde seit 7 Monaten nicht mehr geändert.

Ich würde zum Test mal die ganzen Modulversionen installieren die auch auf dem funktionierenden System sind, als erstes das websockets. Vorher natürlich ein Backup damit du zurück kannst solltest du dir was zerschießen.

Damit müsste es gehen. Ggf. mit pip3 statt pip.

Code Auswählen Erweitern


pip install 'websockets==7.0' --force-reinstall


[ch.eick]

Welches Update meinst du? docker pull fhem/fhem:latest wurde seit 7 Monaten nicht mehr geändert.

Das war der aktuelle für mich , der ältere war von 2019 und da dachte ich mir ein Update wäre mal fällig. Alles andere hat auch auf anhieb funktioniert.

Ich würde zum Test mal die ganzen Modulversionen installieren die auch auf dem funktionierenden System sind, als erstes das websockets. Vorher natürlich ein Backup damit du zurück kannst solltest du dir was zerschießen.

Bei Docker wäre das ja einfach ein neuer FHEM Container, in dem ich dann das Pyhton testen kann wie ich will. Wenn es kaput getestet ist kann ich den doch einfach wieder löschen.

Damit müsste es gehen. Ggf. mit pip3 statt pip.

Code Auswählen Erweitern


pip install 'websockets==7.0' --force-reinstall


Na das ist ein Plan, aber dann kann ich den FHEM Container ja so nicht mehr verwenden

Die reine Statusabfrage ginge ja auch mit einem cron Eintrag direkt im Buster, jedoch müsste ich mir dann für das Setzen von Werten in der KWL wieder einen neuen Mechanismus bauen.
Dafür habe ich ja auch noch Skripte, die ich jetzt aus dem FHEM mit system() aufrufe.

Hach ist das immer alles schwierig

[kadettilac89]

Na das ist ein Plan, aber dann kann ich den FHEM Container ja so nicht mehr verwenden

Warum, verstehe ich nicht. Benötigt Fhem eine aktuellere Version als 7?

1) gib mal die Anleitung oder Schritte was zu tun ist um den Fehler zu bekommen. Beginnend von einem nackten, neuen Container

2) es gibt einen DEV-Container. Teste den mal vielleicht ist da zufällig was geändert was dir hilft, fhem/fhem:dev

[ch.eick]

Warum, verstehe ich nicht. Benötigt Fhem eine aktuellere Version als 7?

1) gib mal die Anleitung oder Schritte was zu tun ist um den Fehler zu bekommen. Beginnend von einem nackten, neuen Container

2) es gibt einen DEV-Container. Teste den mal vielleicht ist da zufällig was geändert was dir hilft, fhem/fhem:dev

Ich melde mich wieder...

[cc13]

Hi,

meine Docker-fhem Umgebung rennt aktuell in einen E500 outdated Fehler im npm paket. Ich bin jetzt die 82 Seiten durch, habe auch schon die fhem-docker in /etc/sudoers.d/ nach Hinweisen aus diesem Thread erweitert, bekomme die Fehlermeldung leider nicht weg.

Folgendes bringt ein Raw-Definition:

Code Auswählen Erweitern


defmod fhemServerNpm npmjs localhost
attr fhemServerNpm alias Node.js Package Update Status
attr fhemServerNpm devStateIcon npm.updates.available:security@red:outdated npm.is.up.to.date:security@green:outdated .*npm.outdated.*in.progress:system_fhem_reboot@orange .*in.progress:system_fhem_update@orange warning.*:message_attention@orange error.*:message_attention@red
attr fhemServerNpm group Update
attr fhemServerNpm icon npm-old
attr fhemServerNpm room System

setstate fhemServerNpm error 'outdated'
setstate fhemServerNpm 2021-07-02 10:28:46 .installedList {"versions":{"unicode":"12.1","openssl":"1.1.1k","node":"10.24.1","cldr":"35.1","nghttp2":"1.41.0","uv":"1.34.2","v8":"6.8.275.32-node.59","http_parser":"2.9.4","ares":"1.15.0","modules":"64","brotli":"1.0.7","tz":"2019c","napi":"7","icu":"64.2","zlib":"1.2.11"}}
setstate fhemServerNpm 2021-07-02 10:50:18 .packageList {"error":{"code":"E500","summary":"Parsing error - malformed JSON string, neither tag, array, object, number, string or atom, at character offset 277 (before \"sh: 2: npm: not foun...\") at ./FHEM/42_npmjs.pm line 1168.\n","detail":"<pre>{\n\"versions\": \n{\"http_parser\":\"2.9.4\",\"node\":\"10.24.1\",\"v8\":\"6.8.275.32-node.59\",\"uv\":\"1.34.2\",\"zlib\":\"1.2.11\",\"brotli\":\"1.0.7\",\"ares\":\"1.15.0\",\"modules\":\"64\",\"nghttp2\":\"1.41.0\",\"napi\":\"7\",\"openssl\":\"1.1.1k\",\"icu\":\"64.2\",\"unicode\":\"12.1\",\"cldr\":\"35.1\",\"tz\":\"2019c\"}\n, \"outdated\": sh: 2: npm: not found\n}\n</pre>"}}
setstate fhemServerNpm 2021-05-02 11:51:28 .updatedList {}
setstate fhemServerNpm 2021-07-02 10:28:46 installed successful
setstate fhemServerNpm 2021-04-28 14:46:31 nodejsVersion 10.24.1
setstate fhemServerNpm 2021-07-02 10:50:18 outdated check failed
setstate fhemServerNpm 2021-07-02 10:50:18 state error 'outdated'
setstate fhemServerNpm 2021-05-02 11:51:28 updated successful
setstate fhemServerNpm 2021-05-02 11:51:29 updatesAvailable 0


Ein "get fhemServer Npm showErrorList" zeigt:

Code Auswählen Erweitern


Error code E500
Summary:
Parsing error - malformed JSON string, neither tag, array, object, number, string or atom, at character offset 277 (before "sh: 2: npm: not foun...") at ./FHEM/42_npmjs.pm line 1168.
Detail:

{
"versions":
{"http_parser":"2.9.4","node":"10.24.1","v8":"6.8.275.32-node.59","uv":"1.34.2","zlib":"1.2.11","brotli":"1.0.7","ares":"1.15.0","modules":"64","nghttp2":"1.41.0","napi":"7","openssl":"1.1.1k","icu":"64.2","unicode":"12.1","cldr":"35.1","tz":"2019c"}
, "outdated": sh: 2: npm: not found
}


Alles läuft auf einem RPi4, DietPi und eben Docker. Habt ihr eine Idee, was ich noch machen kann?

[Otto123]

Hi cc13,

bei mir stand in der Fehlermeldung ich soll `npm install -g npm@7.19.1` ausführen - getan, dann upgrade gemacht  
Hab jetzt repariert - dank Container geht das ja fix

Code Auswählen Erweitern

docker-compose rm -s fhem
docker-compose up -d
Dann noch den alten Fehler weg

Code Auswählen Erweitern

set fhemServerNpm outdated
Und jetzt erstmal die Finger von npm lassen

Gruß Otto

[kadettilac89]

Alles läuft auf einem RPi4, DietPi und eben Docker. Habt ihr eine Idee, was ich noch machen kann?

Sieht nach dem selben Fehler aus. https://forum.fhem.de/index.php/topic,89745.msg1000286.html#msg1000286

Du könntest mal den dev-Zweig testen. Und ggf. die npm-Pakete im Docker-Compose mit angeben. Dann wird beim ersten Einrichten schon mal aktuallisiert.

Ich meine so in etwa, s.u. (nur die relevanten Parameter kopiert). Müsste eigentlich auch anders gehen, aber ich habe mir das so eingerichtet und die npm-Updates funktionieren damit auch. Hatte da auch mal ein Problem und habe es für mich so gelöst. Vielleicht nicht die eleganteste Lösung aber es läuft.

Ich  habe aber auch keinen RPi sondern ein NUC (normale Intel CPU).

Code Auswählen Erweitern


    fhem:
        image: fhem/fhem:dev
        container_name: fhem 
        environment:
            NPM_PKGS: "npm@7.18.1 gassistant-fhem"


[cc13]

Hi cc13,

bei mir stand in der Fehlermeldung ich soll `npm install -g npm@7.19.1` ausführen - getan, dann upgrade gemacht  
Hab jetzt repariert - dank Container geht das ja fix

Code Auswählen Erweitern

docker-compose rm -s fhem
docker-compose up -d
Dann noch den alten Fehler weg

Code Auswählen Erweitern

set fhemServerNpm outdated
Und jetzt erstmal die Finger von npm lassen

Gruß Otto

Ich habe den Container neu angelegt, gestartet und nach

Code Auswählen Erweitern

set fhemServerNpm outdated

und ein paar mal

Code Auswählen Erweitern

set update/upgrade

ist jetzt alles grün. So richtig schlüssig war es für mich nicht, aber solange es das gewünschte Ergebnis bringt.

Danke Otto!

[cc13]

Sieht nach dem selben Fehler aus. https://forum.fhem.de/index.php/topic,89745.msg1000286.html#msg1000286

Du könntest mal den dev-Zweig testen. Und ggf. die npm-Pakete im Docker-Compose mit angeben. Dann wird beim ersten Einrichten schon mal aktuallisiert.

Ich meine so in etwa, s.u. (nur die relevanten Parameter kopiert). Müsste eigentlich auch anders gehen, aber ich habe mir das so eingerichtet und die npm-Updates funktionieren damit auch. Hatte da auch mal ein Problem und habe es für mich so gelöst. Vielleicht nicht die eleganteste Lösung aber es läuft.

Ich  habe aber auch keinen RPi sondern ein NUC (normale Intel CPU).

Code Auswählen Erweitern


    fhem:
        image: fhem/fhem:dev
        container_name: fhem 
        environment:
            NPM_PKGS: "npm@7.18.1 gassistant-fhem"


Das werde ich die Tage mal in einem anderen Container probieren.

[Dirk070]

Ich hab's herausgefunden:

In der graphischen Oberfläche des Nas unter den Umgebungsvariablen den Eintrag "DEVICES" ergänzen und die einzelnen (USB)Devices getrennt mit ":" eintragen und in fhem standardmäßig anlegen.

Danke für den Schubs.

wolf

Dieser Weg hatte bei mir leider nicht funktioniert, daher hier meine Vorgehensweise, falls auch jemand ein USB-Device an der Syno an einen Docker-Container weiterreichen möchte:
https://forum.fhem.de/index.php/topic,51948.msg1165411.html#msg1165411

Schöne Grüße
Dirk