Autor Thema: Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign  (Gelesen 26082 mal)

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Anfang des Jahres kam das Bedürfnis auf, mehr Möglichkeiten zum testen zu haben. Nicht nur privat für FHEM sondern auch beruflich. Daraus entstand die Idee einer Virtualisierungsumgebung. Schnell habe ich bei der Suche gefallen an Proxmox gefunden. Erste Testinstallationen boten vielversprechendes.
Und somit war der Plan geboren meine derzeitige Umgebung samt Netzarchitektur komplett um zu bauen.


Noch mehr Infos zu Proxmox, CEPH und Co (Container?) bekommt Ihr in meinem privaten TuxNet-Wiki



Das Konzept
Ist Stand:
  • 1 pi-proxy01 - Banana Pi Router (Servernetz, Usernetze, Smarthomenetz, DMZ)
  • 1 pi-fhem01 - Raspberry Pi 2 B+ FHEM Master (Server Netz)
  • 1 pi-fhem02 Raspberry Pi 2 B+ FHEM Slave (Server Netz)
  • 1 fritzbox - Fritzbox (DMZ)
  • 1 Homematic Lan Gateway (Smarthome Netz
  • 1 Philips Hue Gateway (Smarthomenetz)
  • diverse Haushaltsgeräte im Wlan unterteilt in 7 VLan Sektionen (Fernsehr, Kaffeemaschine, GHome, Tablets, Notebooks) (Usernetze, Smarthomenetz, Multimedianetz)

Soll Stand:
  • Proxmox Virtualisierungs Cluster
  • Ceph Storage Cluster

Virtualisierung wo es nur geht und Sinn macht. Derzeit angedacht ist
  • prod-proxy01 - Router / ipfire Distribution Firewall, Proxy mit Filter / HA Konfiguration
  • prod-fhem02 - FHEM Slave / debian9 Distribution
  • prod-suma01 - SLES12 SP 3 mit Suse Manager AddOn
  • prod-am01 - Access Manager Appliance / HA Konfiguration
  • prod-web01 - Webserver
  • prod-psql01 - Postgresql Datenbankserver / HA Konfiguration
  • test-??? - diverse Testsysteme für FHEM und mehr


Netzwerk design
Das Netzwerk soll insgesamt flacher werden. Damit gehe ich dann auch den Problemen des Multicast routing über Subnetze hinaus aus dem Weg.
  • Usernetzwerk - hier kommt alles rein was nicht explizit Serverfunktionalitäten hat. GHome, Mediageräte, Haushaltsgeräte, Tablets, Notebooks und und und
  • Servernetzwerk - Hier kommen alle Server mit entsprechenden Diensten rein
  • Proxmox Cluster Netzwerk - ist ein Sondernetzwerk nur für die Proxmoxcluster Funktionalität
  • Ceph Stotage Clusternetzwerk - Für das angedachte Ceph Storage Cluster
  • DMZ Netzwerk - für VPN, extern erreichbare Webdienste



Aufbau der Laborumgebung für den Proxmox Cluster
Da ich nicht ohne weiteres meine derzeitige Konfiguration einreißen kann, muß zu aller erst ein Laboraufbau her.
Dieser Aufbau wird später 1 zu 1 in die Produktive Umgebung übertragen.
  • 5x kleine Tischrechner mit vcore i7 8x2.1GHz, 16GB Ram, 250GB SSD
  • 1x 8fach managed Switch mit VLAN und Jumboframe Unterstützung
« Letzte Änderung: 03 Februar 2020, 14:11:08 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Proxmox Virtualisierungs Cluster
« Antwort #1 am: 30 Mai 2018, 08:50:55 »
Proxmox Virtualisierungs Cluster - Installation und Konfiguration

Proxmox Virtualisierungs Cluster - Installation
Ich habe mir über die Proxmox Seite den aktuellen Proxmox VE 5.2 ISO Installer runter geladen und diesen dann mittels
dd if=proxmox-ve_5.2-1.iso of=/dev/sdb bs=1M
auf einen USB Stick als USB Image geladen.

Damit wurden dann alle 5 Rechner mit Proxmox installiert. Bei der Festplattenbelegung sollte man ein wenig Gehirnschmalz investieren, da ich ja noch eine maximal möglich Partition für das Ceph benötige. Daher habe ich folgende Möglichkeit gewählt.
In der Festplatten und Partitionsübersicht habe ich zu erst einmal die Größe der zu verwenden Festplatte verkleinert. Hier wird immer die gesamte Kapazität an gezeigt. Diese habe ich folgender Maßen beschränkt:
Für die Node 1 und die Node5 habe ich wegen der ISO Images Ablage
48 GB gesamte Festplattenkapazität gewählt, diese wurde dann unterteilt
swapsize 8GB
maxroot 40GB
minfree 2GB
maxvz 0GB da wir ja Ceph machen wollen

Für die anderen Knoten des Clusters habe ich
18 GB gesamte Festplattenkapazität gewählt, diese wurde dann unterteilt
swapsize 8GB
maxroot 10GB
minfree 1GB
maxvz 0GB da wir ja Ceph machen wollen

Damit habe ich, so hoffe ich, das maximalste an Plattenkapazität für das Ceph rausgeschlagen.
Der Rest der Installation ist selbsterklärend.

Zum Abschluss empfiehlt es sich immer ein Update jeder Node durch zu führen
apt-get update
apt-get dist-upgrade



Proxmox Virtualisierungs Cluster - Konfiguration
Leider habe ich in meinen Rechnern immer nur eine Netzwerkkarte. Damit ich dennoch den Datenverkehr etwas trennen kann, habe ich mich entschieden unterschiedliche VLANs zu erstellen.
Ich benötige dem zu Folge 2 VLANs für Proxmoxcluster und Cephcluster. Diese erstelle ich von Hand in der /etc/network/interfaces
Beispielkonfiguration:
auto lo
iface lo inet loopback
 
iface eno1 inet manual
 
auto vmbr0
iface vmbr0 inet static
        address 192.168.179.6
        netmask 255.255.255.0
        gateway 192.168.179.1
        bridge_ports eno1
        bridge_stp off
        bridge_fd 0
 
 
 
# corosync cluster network
auto eno1.31
iface eno1.31 inet static
        address 192.168.31.5
        netmask 255.255.255.0
 
 
 
# ceph storage cluster network
auto eno1.32
iface eno1.32 inet static
        address 192.168.32.5
        netmask 255.255.255.0

Nach einem beherzten ifup eno1.31 und ifup eno1.32 stehen mir die Interfaces zur Verfügung und spätestens nach dem zweiten Server kann ich schon mal einen ping zum ersten Server über die IP-Adressen testen.
Wenn das Netzwerk soweit eingerichtet ist, geht es um die Namensauflösung. Damit alle Nodes gleich sind und ich mit unterschiedlichen Namen für die entsprechenden Netze arbeiten kann, habe ich auf jeder Node die /etc/hosts von Hand angepasst.
/etc/hosts
127.0.0.1 localhost.localdomain localhost
192.168.179.5 n1-pve-cluster.tuxnet.local n1-pve-cluster pvelocalhost
192.168.179.6 n2-pve-cluster.tuxnet.local n2-pve-cluster
192.168.179.7 n3-pve-cluster.tuxnet.local n3-pve-cluster
192.168.179.8 n4-pve-cluster.tuxnet.local n4-pve-cluster
192.168.179.9 n5-pve-cluster.tuxnet.local n5-pve-cluster
 
 
 
# corosync cluster network
192.168.32.5 n1-corosync-cluster.tuxnet.local n1-corosync-cluster
192.168.32.6 n2-corosync-cluster.tuxnet.local n2-corosync-cluster
192.168.32.7 n3-corosync-cluster.tuxnet.local n3-corosync-cluster
192.168.32.8 n4-corosync-cluster.tuxnet.local n4-corosync-cluster
192.168.32.9 n5-corosync-cluster.tuxnet.local n5-corosync-cluster
 
 
 
# ceph storage cluster network
192.168.33.5 n1-ceph-cluster.tuxnet.local n1-ceph-cluster
192.168.33.6 n2-ceph-cluster.tuxnet.local n2-ceph-cluster
192.168.33.7 n3-ceph-cluster.tuxnet.local n3-ceph-cluster
192.168.33.8 n4-ceph-cluster.tuxnet.local n4-ceph-cluster
192.168.33.9 n5-ceph-cluster.tuxnet.local n5-ceph-cluster
Corosync ist dabei der Cluster für Proxmox.

Zum Abschluss meiner Vorbereitungen empfiehlt es sich einen Zeitsynchronisierungsdienst zu installieren. Debian bietet hier das ntp Packet an
apt-get install ntp
Die Konfiguration des ntp Dienstes kann man nach belieben anpassen.

Die Vorbereitungen sind nun abgeschlossen und ich kann mit dem erstellen des Proxmox Clusters beginnen.

Dazu gehen wir auf eine Node, ich nehme immer die erste und erstelle dort den Proxmox Cluster, welcher aber an das entsprechende VLAN gebunden sein soll.
pvecm create <clustername> -bindnet0_addr <ip-node> -ring0_addr <hostname-coro-cluster>
Der Clustername darf nicht länger wie 15 Zeichen sein und natürlich keine Sonderzeichen beinhalten. <ip-node> ist die IP Adressen der aktuellen Node auf der ich mich befinde. <hostname-coro-cluster> ist der hostname der Node so wie ich ihn in der /etc/hosts eingetragen habe.
Beispiel:
pvecm create PVE01-CLUSTER -bindnet0_addr 192.168.32.5 -ring0_addr n1-corosync-cluster

Im Anschluss starte ich die Clusterdienste einmal durch
root@n1-pve-cluster:~# systemctl restart corosync.service
root@n1-pve-cluster:~# systemctl restart pve-cluster.service
root@n1-pve-cluster:~# systemctl restart pvedaemon.service
root@n1-pve-cluster:~# systemctl restart pveproxy.service

Den Status meines Clusters kann ich mir mit
pvecm status
ausgeben lassen.

Zum Abschluss muß ich nur noch alle anderen Nodes in den vorhandenen Cluster einbinden
pvecm add 192.168.32.5 -ring0_addr n2-corosync-cluster
192.168.32.5 ist die IP eines Clustermembers, da ich erst einen habe beim erstmaligen hinzufügen gebe ich also meinen Master dafür an. -ring0_addr ist der hostname der Node welche ich hinzufügen möchte.

Fertig, das war es auch schon. Nun kann ich mich das erste mal im Web Gui anmelden und mir mein Cluster in aller Schöhnheit anschauen  ;D
« Letzte Änderung: 30 Mai 2018, 14:46:09 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Projekt 2018: Ceph Storage Cluster
« Antwort #2 am: 30 Mai 2018, 08:51:17 »
Ceph Storage Cluster - Installation und Konfiguration

Warum?
Da ich schon 5 Rechner wegen des Virtualisierungsclusters zu stehen habe, wollte ich nicht noch eine weitere Box als Storage hinstellen. So langsam mache ich mir dann auch Gedanken um die Stabilität meiner Zwischendecke.
Auf der Suche nach einer Proxmox kompatiblen Lösung (damit ich die VMs mit HA Fähigkeit anlegen kann) stieß ich auf das verteilte Netzwerkstorage System Ceph. Zu meinem Glück unterstützt Proxmox das sogar von Hause aus.


Ceph Storage Cluster - Installation
Für private Anwender ohne Lizens ist derzeit die Version luminous installierbar. Ich installiere somit also auf jeder Node das aktuelle ceph
pveceph install --version luminous

Den noch freien Speicherplatz der SSDs auf allen Nodes weise ich einer Partition zu. Als Partitionstype nehme ceph-osd.
cfdisk /dev/sda

Danach muss ich jede Node nacheinander neu starten.


Ceph Storage Cluster - Konfiguration

Ceph Partitionenunterstützung nur mit Trick 17
Die folgende Anleitung muß auf jeder Node meines zukünftigen ceph Clusters durchgeführt werden.
Das Ceph von Proxmox unterstützt leider keine Partitionen, hier kann man über das Web Gui lediglich komplette Festplatten angeben. Da ich aber keine weitere Platte anschließen kann und ich nun eine Partition sda4 habe möchte ich diese auch gerne verwenden. Dafür die Vorbereitung mit cfdisk. Weiterhin muß ich nun ein wenig in den Perlcode des Projektes eindringen und kleine Änderungen vornehmen.
Ich editieren die Datei /usr/share/perl5/PVE/API2/Ceph.pm
Ich suche nach der Zeile
$devname =~ s|/dev/||;
und kommentiere die und folgende Zeilen aus bis zur Zeile
my $devpath = $diskinfo->{devpath};
Diese Zeile Ändere ich um in
my $devpath = $devname;

Etwas weiter unten in der selben Datei finde ich noch die Zeile
my $cmd = ['ceph-disk', 'prepare', '--zap-disk',
...
Die Ändere ich folgender Maßen
my $cmd = ['ceph-disk', 'prepare',
...

Fertig. Ich starte den pvedaemon Dienst neu
systemctl restart pvedaemon

Meine Vorbereitungen zum verwenden einer Partition für ceph sind damit abgeschlossen und ich kann mein ceph nun fertig konfigurieren.


Ich initiiere auf einer der Nodes des ceph Cluster für mein Ceph Storage Cluster Netzwerk mit
pveceph init --network 192.168.32.0/24

Und erstelle dann auf jeder Node einen Ceph Monitor
pveceph createmon

Im Anschluss erstelle ich auf jeder Node einen OSD welcher die Partition /dev/sda4 bekommt und ohne bluestore Support (Also Filestore only) daherkommt. Filestore beötige ich da bei Partitionen bluestore nur maximal 10GB nimmt.
pveceph createosd /dev/sda4 –bluestore 0
Damit die ODS's nun auch sichtbar werden und verwendet werden können, muss ich sie noch aktivieren
cephdisk activate /dev/sda4


FERTIG!
Das war es auch schon. Nun sehe ich im Web Gui unter jeder Node im Ceph Bereich alle OSD's der Nodes und kann dann unter pool Pool anlegen.
« Letzte Änderung: 30 Mai 2018, 14:59:41 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Was habe ich bis jetzt geschafft? Ich habe mir eine Cluster Virtualisierungslösung samt Storage Cluster aufgebaut. Im Web Gui sieht das ganze dann aus wie unten auf dem Screenshot.
Ich habe also insgesamt zur Verfügung
  • 40 CPUs
  • 77 GB Hautspeicher
  • 1.35 TByte Speicherkapazität

Auf Basis dieser Virtualisierungsumgebung kann ich nun beginnen meine ersten Server auf zu setzen und zu konfigurieren.
Platz sollte für circa 15 Maschinen sein. Ich benötige für 2 Maschinen alleine schon jeweils 2x2 CPUs und 8GB Ram. Dazu jeweils 150GB Storage. Andere Maschinen fallen dafür kleiner aus. FHEM brauch ja nicht soooo viel  ;)
« Letzte Änderung: 03 Oktober 2018, 21:08:03 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Antw:Projekt 2018: virtuelle Maschinen
« Antwort #4 am: 30 Mai 2018, 15:03:05 »
Eine Firewall muß her - pfsense natürlich im HA Clustermode

Nach dem ich nun erfolgreich meine Virtualisierungslösung am  laufen habe und auch schon zum spielen das ein oder andere System installiert habe, wird es Zeit sich Gedanken um den produktiven Betrieb zu machen.
Aktuell habe ich eine Fritzbox als Verbindung zum Internet. Netzwerktechnisch kann man sagen sie steht in einer DMZ. Dies soll auch so bleiben und so wie jetzt soll danach sofort eine Firewall kommen.
Da ich nun alles virtualisiere habe ich gerade bei der Firewall eine freie Auswahl. Ich habe mich nach einigen Tests zwischen IPFire und pfsense für pfsense in der Community Edition entschieden.
Aktuell gibt es die Version 2.4.3. Die 2.4er Entwicklung befindet sich im Auslauf und wird in absehbarer Zeit von der 2.5er Version abgelöst. Hier gibt es eine große Änderung, wer diese Version einsetzen möchte dessen CPU muß zwingend AES-NI können. Sonst läuft gar nichts.


pfsense - die Installation
pfsense ist in der Community Edition Lizenskostenfrei einsetzbar. Hierfür einfach das entsprechende ISO File runterladen und auf einem Proxmoxstorage zur Verfügung stellen.
Ich habe vor 2 pfsense Server zu installieren, welche dann später im HA Betrieb laufen sollen. Ich lege mir also schon mal 2 virtuelle Maschinen an. p-fw01 und p-fw02. Für die Hardware reichen vorerst kleine Brötchen. Also nehme ich als CPU 1 Socket 2 Cores und ganz wichtig für AES-NI wähle ich als CPU Haswell-noTSX (das ist meine tatsächliche CPU im Proxmox Host). Hauptspeicher 2GB und 15GB an Storage. Für einen reibungslosen HA Betrieb mit Virtuellen IP Adressen empfiehlt Netgate in seinem HA Dokument für KVM+QEMU als Netzwerkkarte die e1000 zu nehmen. Da ich vor habe mein Netzwerk insgesamt etwas flacher zu gestallten lege ich vorerst 5 Netzwerkkarten an.
  • DMZ Zone, also die Verbindung zur Fritzbox und somit zum Internet
  • Management Netz - VLAN
  • Server Netz - VLAN
  • User Netz
  • Smart Home und Multimedia Netz

Nach dem erstellen der virtuellen Maschinen wird das pfsense ISO in eine eingehängt und gestartet. Die Installation geht schnell von der Hand wenn man sich vorher etwas in den Install Guide eingelesen hat.
Man sollte sich definitiv vorher intensiv Gedanken machen wie genau sein Netz aufgebaut und abgesichert sein soll. Die erste Netzwerkkarte ist das WAN Netz, also die Verbindung in die DMZ (Fritzbox). Die zweite Netzwerkkarte richte ich als LAN ein (interne Verbindung) und zwar als erstes das Management Netzwerk.
Nach der erfolgreichen Installation und dem zuweisen der ersten beiden Netze erfolgt die weiterführende Konfiguration mit Hilfe eines Wizards. Danach kann man sich über die Weboberfläche anmelden.


pfsense - eigene PKI mit RootCA und IntermediateCA
Alle meine Dienste sollen ihre interne Kommunikation verschlüsselt durchführen. Damit dies sauber gewährleistet ist, empfiehlt es sich seine eigene PKI auf zu bauen und somit eine Vertrauenskette über alle erstellten Zertifikate zu haben.
Dazu wird als erstes ein RootCA (Zertifikat) über die Weboberfläche von pfsense erstellt. Danach erstellen wir ein Intermediate RootCA und zeichnen dieses mit Hilfe unseres RootCA gegen. Damit haben wir nun 2 Zertifikate. In Zukunft werden wir alle folgenden Zertifikate mit dem Intermediate RootCA gegenzeichen. Sollte unser Intermediate RootCA einmal kompromittiert sein, können wir alle damit ausgestellten Zertifikate zurück ziehen und das Intermediate RootCA löschen. Wir haben aber dann immer noch unsere RootCA auf der wir neu aufbauen können.
Da rootCa exportieren wir uns und fügen es in all unseren Browsern oder Handys an vertrauliche Zertifizierungsstelle ein. Damit bekommen wir nun immer ein schönes grünes Schloß in unseren Browsern.
Zum administrieren von pfSense wird ein Webinterface verwendet. Dafür legen wir nun als erstes ein Server Zertifikat an.

... Under Construction
« Letzte Änderung: 01 Oktober 2018, 11:08:33 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Platzhalter

....
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Platzhalter

...
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline sku

  • Full Member
  • ***
  • Beiträge: 103
hört sich spannend an. was ist der vorteil eines clusters? ausfallsicherheit? leichtere wartbarkeit? beides? mehr power?

Online Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 7288
Im Winter braucht man dann auch keine Heizung mehr.  8)

LG

pah
Gefällt mir Gefällt mir x 2 Liste anzeigen

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
hört sich spannend an. was ist der vorteil eines clusters? ausfallsicherheit? leichtere wartbarkeit? beides? mehr power?
Auf jeden Fall leichtere Wartbarkeit der Hosts da ich die virtuellen Maschinen einfach schwenken kann auf eine andere Note. Ausfallsicherheit, da bis zu 2 Notwendig ohne Sorge drauf gehen können.
Und in meinem Fall auch mehr Power. Man kann sich auch Blech in Form von Herrn 19zoll Pizza Schachtel hinstellen, 192 GB RAM reinstecken und 6 Xeon CPUs mit 8 Kernen. Aber das macht Lärm, kostet enorm Strom und nimmt Platz. Dann lieber so.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Im Winter braucht man dann auch keine Heizung mehr.  8)

LG

pah

Nicht wirklich. Das sind kleine Tischfeuerwerke, doppelt so gross wie ein Netzwerk  Tischswitch. Wenn 1 oder 2 an sind hört man gar nichts, bei allen 5 ist ein leichtes brummen aus der Ecke zu vernehmen. Leider wie ein kühlender Kühlschrank. Ich will bei Gelegenheit Mal ein Zwischenstecker von Homematic mit Energiemessung anklemmen. Bin gespannt.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Habe gestern mal den Zwischenstecker an gebracht. Der Verbrauch lag im Schnitt bei 100W. Sind auf das Jahr gerechnet in Euro um die 300 Euro. Ich kann damit leben.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline sku

  • Full Member
  • ***
  • Beiträge: 103
Auf jeden Fall leichtere Wartbarkeit der Hosts da ich die virtuellen Maschinen einfach schwenken kann auf eine andere Note. Ausfallsicherheit, da bis zu 2 Notwendig ohne Sorge drauf gehen können.
Und in meinem Fall auch mehr Power. Man kann sich auch Blech in Form von Herrn 19zoll Pizza Schachtel hinstellen, 192 GB RAM reinstecken und 6 Xeon CPUs mit 8 Kernen. Aber das macht Lärm, kostet enorm Strom und nimmt Platz. Dann lieber so.

also laufen die vm nicht auf allen nodes und wenn einer ausfällt läuft alles weiter wie bei einem raid5? wird mit gbit LAN auch nicht möglich sein nehme ich an?

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Eine VM kann immer nur auf einer Node laufen. Du kannst bei einem Ausfall oder bei Wartung aber ohne Probleme auf eine andere Node schwenken (migrieren).
Das HA bezieht sich hier auch nur darauf das wenn Du normal migrierst Du es live machen kannst. Wenn Du tatsächlichen Service HA willst brauchst zwei VM's für den Dienst.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #14 am: 21 September 2018, 21:36:06 »
Es gibt doch tatsächlich etwas neues zu berichten. Ich bin endlich dazu gekommen meine USB Dongle zu testen. Sowohl der signalDuino als auch mein RFXtrx laufen in einem lx Container ohne Probleme.
Nur Bluetooth geht leider nicht. Da muss ich mir noch was einfallen lassen.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline schka17

  • Sr. Member
  • ****
  • Beiträge: 866
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #15 am: 22 September 2018, 11:12:11 »
Was sind denn das für Tischrechner mit 8x2.1 GHz?


Sent from my iPad using Tapatalk
M: Thinclient x64 Debian | CUL FS20, HMS100WD, HMS100TF, HMS100T, HMS100CO, S300, S555TH | OWServer DS1420, DS18B20, DS2408 | RFXCOM UVN128, THWR800, THGR228N,RTGR328, PCR800 |Jeelink PCA301 EC3000|CUNO+IR|HMLAN|HMUSB|CUL433 Somfy|mySensors|espEasy
S1:Raspberry mit BPM810, Jeelink EC3000

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #16 am: 22 September 2018, 12:01:09 »
Das sind Dell Optiplex 9020 micro

Die Teile können im Turbo Mode bis zu 3.2GHz.
« Letzte Änderung: 01 Oktober 2018, 11:10:21 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline schka17

  • Sr. Member
  • ****
  • Beiträge: 866
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #17 am: 23 September 2018, 02:01:23 »
Das sind Dell Optiplex 9020

Die Teile können im Turbo Mode bis zu 3.2GHz.
Danke


Sent from my iPad using Tapatalk
M: Thinclient x64 Debian | CUL FS20, HMS100WD, HMS100TF, HMS100T, HMS100CO, S300, S555TH | OWServer DS1420, DS18B20, DS2408 | RFXCOM UVN128, THWR800, THGR228N,RTGR328, PCR800 |Jeelink PCA301 EC3000|CUNO+IR|HMLAN|HMUSB|CUL433 Somfy|mySensors|espEasy
S1:Raspberry mit BPM810, Jeelink EC3000

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ich habe noch ein wenig was ergänzt und neue Bilder angehangen.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Phiolin

  • Full Member
  • ***
  • Beiträge: 213
Mich würde hier mal interessieren, welche Erfahrungen du bezüglich CephFS gemacht hast.

Ich bastle aktuell auch an einem Proxmox Cluster, auf dem auch schon FHEM und 13 andere LXC Container sowie eine VM laufen.
Bisher habe ich aber nur 2 Nodes, behelfe mir bezüglich des Quorums mit einem Corosync QDevice, sodass ich da keine Probleme mit den Quorum bekomme, wenn mal eine Node weg oder neu gestartet werden muss.

Du hast ja geschrieben, dass du auch nur 1 Netzwerkkarte in jedem System hast, das trifft bei mir auch zu. Ich baue auf Basis von Intel NUCs, so dass da einfach natürlich Limitierungen bei den Schnittstellen sind, wie in wahrscheinlich den meisten Mini-PC Systemen.
Daher verwende ich ebenfalls VLANs um zumindest logisch die Dienste im Netzwerk etwas zu trennen.

Die gesamten Daten und Container/VM-Images laufen aktuell ohnehin schon übers Netzwerk, da ich alles auf meinem Synology NAS speichere. Das scheint bisher keine größeren Probleme zu machen, es laufen aber auch nicht wirklich I/O intensive Dienste auf dem Systemen. Man kann so aber natürlich am Synology NAS praktisch nichts mehr machen, da bei Reboots vom NAS dann praktisch das ganze interne Netzwerk hops geht (DNS etc läuft alles in Proxmox LXC Containern)...

Deshalb dachte ich an Ceph um zumindest die Container-Images in ein redundantes System zu verlagern.
Klappt das bei dir gut, oder ergeben sich dadurch, dass sich alle Dienste das 1Gbit-LAN teilen müssen, Performance-Probleme wenn da auch noch das CephFS mit der Synchronisation über die Leitung läuft?

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Bisher habe ich da nicht bemerkt. Obwohl schon ordentlich Daten bewegt wurden. Ich habe für den Corosync und den Ceph Cluster aber unterschiedliche VLans.
Wenn alle Notes laufen habe ich keine Ceph Probleme.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Nach einem Jahr ist es nun vollbracht. Vor zwei Tagen ist meine gesamte Umgebung in die Virtualisierung gezogen. Ich musste mir noch einen einzelnen Access Point besorgen. Habe mir einen von Ubiquiti Networks geholt und bin schwer begeistert.
Ansonsten läuft nun alles soweit. Auch die virtualisierten PfSense Firewalls als Cluster laufen stabil und beinahe unbelastet selbst im extremen Streaming.
« Letzte Änderung: 04 August 2019, 20:13:10 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 7288
Zitat
Nach einem Jahr ist es nun vollbracht
Gratuliere - aber, öh, das könnte ich mir nicht leisten.

LG

pah

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Die Anschaffung war etwas Preisintensive aber der Betrieb geht. Durchweg 100 Watt für das Switch und die 5 Nodes.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 7288
ich meine den Zeitaufwand ...

LG

pah

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ah verstehe. Ja das war in der Tat schon ein bisschen Zeitintensiv. Wobei wenn man sich etwas aus kennt dann geht das. Dokumentation ist alles.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline tux75at

  • Developer
  • Full Member
  • ****
  • Beiträge: 122
Hallo CoolTux!

Ich virtualisiere auch ein wenig. Mir geht es hauptsächlich um die Wartung. Ein Snapshot ist eventuell schneller zurückgespielt als bei einem Raspi die SD Karte nau geklont. Des weiteren ist mein NUC in einem passiven Gehäuse auf dauer gesehen sogar kühler als der Raspi.

Mit Proxmox und LXC Container habe ich beim USB Passthrough einige Probleme.
Ich hatte auf einer Testumgebung (evtl. die gleiche die jetzt läuft) schon ein USB Passthrough erfolgreich am laufen.
Jetzt habe ich begonnen UI zu schreiben und wollte meine Testumgebung übersiedeln. Leider stehe ich jetzt vor dem Problem, dass ich den Passthrough nicht mehr hinbekomme.

lsusbBus 001 Device 006: ID 0658:0200 Sigma Designs, Inc.ls -la /dev/ttyA*crw-rw---- 1 root dialout 166, 0 Aug 16 12:42 /dev/ttyACM0
/etc/pve/proxmox/lxc/101.conflxc.cgroup.devices.allow: c 189:* rwm
lxc.mount.entry: /dev/bus/usb/001/002 dev/bus/usb/001/002 none bind,optional,create=file
lxc.cgroup.devices.allow: c 166:* rwm
lxc.mount.entry: /dev/ttyACM0 dev/ttyACM0 none bind,optional,create=file

Passt jetzt nicht so gut zusammen, USB Port hat sich nochmal geändert nachdem ich den Stick abgezogen habe.
ich habe auch die rechte von ttyACM0 auf crw-rw-rw- geändert.

Ich sehe in allen Maschinen mit lsusb den Sigma Designs, Inc. Eintrag. Dieser entspricht dem UZB1.

Ich habe viel gesucht und bin leider nicht fündig geworden. Ausser einen Tippfehler (ttyAMC statt ttyACM), ich hoffe es ist sonst kein Tippfehler mehr vorhanden.

Gruß
   Tux

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Hallo CoolTux!

Ich virtualisiere auch ein wenig. Mir geht es hauptsächlich um die Wartung. Ein Snapshot ist eventuell schneller zurückgespielt als bei einem Raspi die SD Karte nau geklont. Des weiteren ist mein NUC in einem passiven Gehäuse auf dauer gesehen sogar kühler als der Raspi.

Mit Proxmox und LXC Container habe ich beim USB Passthrough einige Probleme.
Ich hatte auf einer Testumgebung (evtl. die gleiche die jetzt läuft) schon ein USB Passthrough erfolgreich am laufen.
Jetzt habe ich begonnen UI zu schreiben und wollte meine Testumgebung übersiedeln. Leider stehe ich jetzt vor dem Problem, dass ich den Passthrough nicht mehr hinbekomme.

lsusbBus 001 Device 006: ID 0658:0200 Sigma Designs, Inc.ls -la /dev/ttyA*crw-rw---- 1 root dialout 166, 0 Aug 16 12:42 /dev/ttyACM0
/etc/pve/proxmox/lxc/101.conflxc.cgroup.devices.allow: c 189:* rwm
lxc.mount.entry: /dev/bus/usb/001/002 dev/bus/usb/001/002 none bind,optional,create=file
lxc.cgroup.devices.allow: c 166:* rwm
lxc.mount.entry: /dev/ttyACM0 dev/ttyACM0 none bind,optional,create=file

Passt jetzt nicht so gut zusammen, USB Port hat sich nochmal geändert nachdem ich den Stick abgezogen habe.
ich habe auch die rechte von ttyACM0 auf crw-rw-rw- geändert.

Ich sehe in allen Maschinen mit lsusb den Sigma Designs, Inc. Eintrag. Dieser entspricht dem UZB1.

Ich habe viel gesucht und bin leider nicht fündig geworden. Ausser einen Tippfehler (ttyAMC statt ttyACM), ich hoffe es ist sonst kein Tippfehler mehr vorhanden.

Gruß
   Tux

Hallo,

Mein letztes mal war auch so vor einem Jahr. Ich werde es die Tage aber wieder angehen. Einzig der default für "Unprivileged container" hat sich in der Zeit verändert. Von no auf yes. Wenn Du den Container also neu angelegt hast könnte das die Erklärung sein. Mein letzter Stand war das es bei "Unprivileged container" schwieriger ist. Ob nun nur bei NFS oder auch bei Passthrough muss ich mal schauen die Tage.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Hier das hatte mir damals geholfen


https://forum.proxmox.com/threads/lxc-usb-passthrough-zwave-stick.30058/


Ich teste am WE mal.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Bin fündig geworden

https://forum.proxmox.com/threads/usb-device-in-unprivilegierten-lxc-durchreichen.52985


Ist eben doch was anderes so ein unprivilegierter Container.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline tux75at

  • Developer
  • Full Member
  • ****
  • Beiträge: 122
Danke!

Das hab ich alles gefunden und alles angeschaut. Meine Lösung war etwas brachial.
Ich hab Proxmox 6.0 gesaugt, alles gekübelt und meinen Nuc neu aufgesetzt.

Dann hab ich ein neues fhem installiert, backup drauf und genau das gleiche nochmal gemacht.
Das Ergebnis war ein anderes. Diesmal ging es.

Jetzt hab ich mein Testsystem von Raspi mit meinem LCARS System vom Nuc (ohne HW) gemerged und es geht immer noch. Bis auf mein Problem mit dem Dimmer, der Status ist nicht "on" und "off", statt on gibt es dem Dim Faktor ... aber das ist ein anderes Problem.....

Das wichtige ist, Proxmox geht, und für Mutige die neue Version funktioniert bei mir auch schon.

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ich habe vor 3 Wochen das Update auf 6 gemacht. Samt Cluster und CEPH. Die Anleitung war ein Traum und alles lief super
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline hoppel118

  • Sr. Member
  • ****
  • Beiträge: 947
Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #32 am: 17 August 2019, 00:05:27 »
Zunächst erstmal mein Respekt, tolles Projekt! ;)

Die Anschaffung war etwas Preisintensive aber der Betrieb geht. Durchweg 100 Watt für das Switch und die 5 Nodes.

Hängen die 5 Nodes jetzt etwa alle an einem Switch? Warum eigentlich 5 Nodes? Irgendwie wäre ich bei so einem Clusterverbund wohl bei 4 oder 6 gelandet. Obwohl mir persönlich mehr als 2 Nodes für zu Hause zu krass wären. ;)

VLANs habe ich hier auch schon lange in Betrieb. Mit Multicast-Problemen hatte ich hier auch zu kämpfen. Habe mittlerweile mehrere APs, Switche und auch Security Gateway von Ubiquiti Unifi im Einsatz. Das läuft jetzt alles sehr stabil.

Ich habe vor 3 Wochen das Update auf 6 gemacht. Samt Cluster und CEPH. Die Anleitung war ein Traum und alles lief super

Toll, dass das so reibungslos gelaufen ist. Hast du auch FHEM schon unter Buster in Betrieb? Läuft dein FHEM in KVM oder LXC?

Viele Grüße Hoppel
« Letzte Änderung: 17 August 2019, 00:08:42 von hoppel118 »
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Zunächst erstmal mein Respekt, tolles Projekt! ;)

Hängen die 5 Nodes jetzt etwa alle an einem Switch? Warum eigentlich 5 Nodes? Irgendwie wäre ich bei so einem Clusterverbund wohl bei 4 oder 6 gelandet. Obwohl mir persönlich mehr als 2 Nodes für zu Hause zu krass wären. ;)

Guten Morgen,

Ja die 5 Nodes hängen alle an einem 16 Port Gigabit Switch. Damit der Cluster ein Quorum erfüllt für HA muss die Anzahl immer Ungrade sein. Ab 3 Nodes kannst Du also HA machen. Die 5 habe ich günstig im Set bekommen so zu sagen. Naja eigentlich waren es erst 4 und dann habe ich noch einen 5. dazu bekommen.



VLANs habe ich hier auch schon lange in Betrieb. Mit Multicast-Problemen hatte ich hier auch zu kämpfen. Habe mittlerweile mehrere APs, Switche und auch Security Gateway von Ubiquiti Unifi im Einsatz. Das läuft jetzt alles sehr stabil.

Toll, dass das so reibungslos gelaufen ist. Hast du auch FHEM schon unter Buster in Betrieb? Läuft dein FHEM in KVM oder LXC?

Viele Grüße Hoppel

Ich habe noch keinen Buster Container. Und ein Update des Stretch Containers auf Buster ist wohl aktuell noch nicht so ganz einfach möglich. Hatte da erst letztes was im Proxmox Forum zu gelesen. Aber es geht ja auch mit Version 9.9.
Meine Entwicklungs und Test Instanzen laufen alle im Container und aktuell bereite ich den Umzug der configDB von mysql lokal auf dem Pi auf postgresql auf einem eigenen PostgreSQL Container vor. Ich habe bereits erfolgreich 2 Testmigrationen absolviert und denke das ich die Tage dann ganz schwenken kann. Danach kann ich dann die FHEM Funktionalität vom Pi auf den schon vorhandenen FHEM Container schwenken.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ich habe soeben den Schwenk gemacht von lokaler mysql DB auf eine PostgreSQL im Container. Die Daten umziehen war einfach, musste nur einen zweiten mysql Server zur Migration auf setzen. Hat auch alles soweit geklappt. Leider scheint sich bei meiner DB vom fhem01 ein Fehler eingeschlichen zu haben. Bei einigen Räumen stimmen die Umlaute nicht mehr. Sind jetzt Sonderzeichen. Aber nicht bei allen, So bei 4 von 7 würde ich sagen.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline hoppel118

  • Sr. Member
  • ****
  • Beiträge: 947
Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #35 am: 17 August 2019, 21:34:20 »
Hast du dich mit utf8 schon auseinandergesetzt? Was ist in dem Container konfiguriert?

Ich meine sowas hier: https://www.domain-frage.de/locales-konfigurieren-linux-umlaute-richtig-darstellen/

Stecke da aber nicht so drin, wie das mit SQL/FHEM überhaupt zusammen spielt. Hatte das Problem früher mal mit Putty und irgendwann auch im EPG meines früheren VDR Servers. Das hing beide Male mit utf8 zusammen.

Gruß Hoppel
« Letzte Änderung: 17 August 2019, 21:38:33 von hoppel118 »
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Offline hoppel118

  • Sr. Member
  • ****
  • Beiträge: 947
Ja die 5 Nodes hängen alle an einem 16 Port Gigabit Switch.

Wenn der ausfällt geht nichts mehr. Willst du da auch noch ran? Oder reicht es dir, wenn die Daten und Container doppelt/dreifach/fünffach verteilt sind?

Damit der Cluster ein Quorum erfüllt für HA muss die Anzahl immer Ungrade sein. Ab 3 Nodes kannst Du also HA machen. Die 5 habe ich günstig im Set bekommen so zu sagen. Naja eigentlich waren es erst 4 und dann habe ich noch einen 5. dazu bekommen.

Ok, danke für die Erleuchtung. Tatsächlich habe ich schonmal mit dem Gedanken gespielt etwas ähnliches hochzuziehen. Allerdings wollte ich es auf Basis von Intel NUCs machen. Hatte mich da aber noch nie wirklich mit beschäftigt. Bisher dachte, dass ich mit zwei NUCs auskomme.

Ich habe noch keinen Buster Container. Und ein Update des Stretch Containers auf Buster ist wohl aktuell noch nicht so ganz einfach möglich. Hatte da erst letztes was im Proxmox Forum zu gelesen. Aber es geht ja auch mit Version 9.9.

Jo, momentan läuft unter Stretch alles 1a. Hätte ja sein können, dass FHEM auch schon unter Buster am Laufen hast. :)

Meine Entwicklungs und Test Instanzen laufen alle im Container und aktuell bereite ich den Umzug der configDB von mysql lokal auf dem Pi auf postgresql auf einem eigenen PostgreSQL Container vor. Ich habe bereits erfolgreich 2 Testmigrationen absolviert und denke das ich die Tage dann ganz schwenken kann. Danach kann ich dann die FHEM Funktionalität vom Pi auf den schon vorhandenen FHEM Container schwenken.

Das ist alles hochgradig spannend. Halte uns bitte auf dem Laufenden.

Viele Grüße Hoppel
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Hast du dich mit utf8 schon auseinandergesetzt? Was ist in dem Container konfiguriert?

Ich meine sowas hier: https://www.domain-frage.de/locales-konfigurieren-linux-umlaute-richtig-darstellen/

Stecke da aber nicht so drin, wie das mit SQL/FHEM überhaupt zusammen spielt. Hatte das Problem früher mal mit Putty und irgendwann auch im EPG meines früheren VDR Servers. Das hing beide Male mit utf8 zusammen.

Gruß Hoppel

Das mit UTF-8 denke ich ist alles ok. Die DB der einen FHEM Instanz läuft ja rund, nur die zweite nicht. Ich denke aber es liegt an der ausgangs DB. Die eine was nicht läuft war meine erste erstellte configDB und die zweite kam dann bei weitem später.



Wenn der ausfällt geht nichts mehr. Willst du da auch noch ran? Oder reicht es dir, wenn die Daten und Container doppelt/dreifach/fünffach verteilt sind?

Ok, danke für die Erleuchtung. Tatsächlich habe ich schonmal mit dem Gedanken gespielt etwas ähnliches hochzuziehen. Allerdings wollte ich es auf Basis von Intel NUCs machen. Hatte mich da aber noch nie wirklich mit beschäftigt. Bisher dachte, dass ich mit zwei NUCs auskomme.

Jo, momentan läuft unter Stretch alles 1a. Hätte ja sein können, dass FHEM auch schon unter Buster am Laufen hast. :)

Das ist alles hochgradig spannend. Halte uns bitte auf dem Laufenden.

Viele Grüße Hoppel


Was das Thema Switch an geht so werde ich mir noch einen zweiten Vorkonfigurierten hinlegen. Wenn der eine aus fällt stecke ich den anderen einfach dran.
Ich werde weiter berichten.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline tux75at

  • Developer
  • Full Member
  • ****
  • Beiträge: 122
Jo, momentan läuft unter Stretch alles 1a. Hätte ja sein können, dass FHEM auch schon unter Buster am Laufen hast. :)

Ich hab FHEM aufgrund einer Neuinstallation am NUC, virtualisiert unter Proxmox 6.0 lxt container, auf Debian 10 (Buster) am laufen.

Bisher kein Anzeichen eines Problems. Da es ein Testsystem ist, auf dem ich meine UI entwickle (natürlich LCARS :))  habe ich hier mehr Geduld als bei einem System welches im täglichen Einsatz ist.

Gruß
   Tux
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline gloob

  • Hero Member
  • *****
  • Beiträge: 3081
Nutzt jemand von euch Conbee mit einem Proxmox Cotainer?
Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

Offline hoppel118

  • Sr. Member
  • ****
  • Beiträge: 947
Ich hab FHEM aufgrund einer Neuinstallation am NUC, virtualisiert unter Proxmox 6.0 lxt container, auf Debian 10 (Buster) am laufen.

Bisher kein Anzeichen eines Problems. Da es ein Testsystem ist, auf dem ich meine UI entwickle (natürlich LCARS :))  habe ich hier mehr Geduld als bei einem System welches im täglichen Einsatz ist.

Ok, gut zu wissen. Interessant wäre nun, welche Module du im Einsatz hast. plain FHEM wird wahrscheinlich laufen, aber so Sachen wie yowsup, alexa, homebridge und die ganzen Perl Pakete, die man für irgendwelche FHEM Module benötigt, bereiten mir da schon etwas Kopfzerbrechen. Naja, kommt Zeit, kommt Rat. Irgendwann werde ich einfach mal die Umstellung versuchen. Irgendwie ist das hier aber offtopic. ;)

Nutzt jemand von euch Conbee mit einem Proxmox Cotainer?

Wie macht „ihr“ Proxmox Nutzer das überhaupt? Nutzt ihr noch irgendwelche USB-Interfaces per USB Passthrough? Oder ist das alles so entkoppelt, dass die Interfaces bei euch alle per IP erreichbar sind.

Ich habe hier bspw. für meinen Homematic-Kram zwei HM-USB direkt mit jeweils 5m Kabeln an meinem Server angeschlossen. Zusätzlich kann ich noch einen einen HM-UART mit WLAN per IP ansprechen.
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ich will meinen signalduino dem nächst an schließen. Ich hatte das zu Testzwecken letztes Jahr schon mal gemacht und hat super funktioniert. HA geht dann natürlich nicht mehr aber damit muss ich leben.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline hoppel118

  • Sr. Member
  • ****
  • Beiträge: 947
Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #42 am: 18 August 2019, 13:00:20 »
Sorry, jetzt kann ich dir gerade nicht folgen. Mit Signalduino habe ich mich nie beschäftigt. Wie wird das angeschlossen? Wofür nutzt du das? Und warum geht HA dann nicht mehr?

Mein Verständnis ist, dass HA nicht funktioniert, sobald USB-Schnittstellen involviert sind. Ist das richtig? Wie wäre, es wenn man an jeder Node dieselben USB-Schnittstellen anschließt, geht HA dann?

Wie funktioniert dieses Proxmox HA Konzept überhaupt? Wie die Last in irgendeiner Form verteilt oder ist einer der Master und wenn der ausfällt, übernimmt eine andere Node?

@CoolTux Dieser Thread wird sich vrsl. zu einem Referenz-Thread entwickeln. Ich gehe davon aus, dass das auch dein Ansinnen war.  Ich hoffe, dass diese Fragen somit für dich in diesem Thread ok sind? :)

Viele Grüße
« Letzte Änderung: 18 August 2019, 13:02:19 von hoppel118 »
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Sorry, jetzt kann ich dir gerade nicht folgen. Mit Signalduino habe ich mich nie beschäftigt. Wie wird das angeschlossen? Wofür nutzt du das? Und warum geht HA dann nicht mehr?

Mein Verständnis ist, dass HA nicht funktioniert, sobald USB-Schnittstellen involviert sind. Ist das richtig? Wie wäre, es wenn man an jeder Node dieselben USB-Schnittstellen anschließt, geht HA dann?

Wie funktioniert dieses Proxmox HA Konzept überhaupt? Wie die Last in irgendeiner Form verteilt oder ist einer der Master und wenn der ausfällt, übernimmt eine andere Node?

@CoolTux Dieser Thread wird sich vrsl. zu einem Referenz-Thread entwickeln. Ich gehe davon aus, dass das auch dein Ansinnen war.  Ich hoffe, dass diese Fragen somit für dich in diesem Thread ok sind? :)

Viele Grüße

Habe kein Problem mit den Fragen.
Mein Signalduino ist ein USB Stick. Es geht also um USB Passthrough. Man kann das nur an einem Knoten anschließen und musste wenn dann von Hand umstecken.

HA bedeutet das wenn eine Node ausfällt die VM oder der Container auf der anderen weiterlaufen. Wobei man bei Containern leider keine online Migration machen kann. Also nicht ganz HA.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ich bin soeben erfolgreich mit meinem ersten FHEM Server in einen Proxmox Container gezogen. Allerdings ohne lokale Hardware. Das teste ich zu einem späteren Zeitpunkt.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline ch.eick

  • Sr. Member
  • ****
  • Beiträge: 718
Hallo CoolTux,

nur mal so zur Motivation :-)
FHEM läuft auch in einer Solaris 11.3 Zone, nachdem man diverse Pakete und Perl Module nachinstalliert hat.
Ich habe von vorn herein meine FHEM Device nach LAN Fähigkeit ausgesucht und somit USB und GPIO HW vermieden.

Gruß
    Christian
RPI4; Docker; CUNX; Eltako FSB61NP; 230V zentral verschaltet; SamsungTV H-Serie; DLNARenderer; TV.pl;  Sonos; Vallox; Luxtronik; 2x FB7490; Stromzähler mit DvLIR; wunderground; clever-tanken; Plenticore 10 mit BYD; EM410; SMAEM; Modbus TCP

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ich habe die USB Dongle vorerst an der zweiten FHEM Instanz beim Pi umgezogen. Aber ich denke ich werde den Dongle an den Container binden später. Aber ich musste nun leider schnell handeln weil mein FHEM ständig den Speicher vom Pi auf frass. Warum auch immer. Mal schauen ob es im Container runder läuft.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
So ich habe es nun endlich geschafft. Nach sage und schreibe 1,5 Jahren ist mein komplettes FHEM System (2 produktive Instanzen) in die Proxmox Umgebung als LX Container gezogen. Samt RFXtrx und SIGNALduino USB Dongle.
Somit habe ich nun meine große Reise beendet  ;D


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline gloob

  • Hero Member
  • *****
  • Beiträge: 3081
So ich habe es nun endlich geschafft. Nach sage und schreibe 1,5 Jahren ist mein komplettes FHEM System (2 produktive Instanzen) in die Proxmox Umgebung als LX Container gezogen. Samt RFXtrx und SIGNALduino USB Dongle.
Somit habe ich nun meine große Reise beendet  ;D


Grüße

Jetzt musst du nur noch lösen, warum der Speicherverbrauch ansteigt
Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Jetzt musst du nur noch lösen, warum der Speicherverbrauch ansteigt

Habe ich schon. Naja zu mindest die Richtung. Aktuell habe ich noch einen Kandidaten im Ausschluß.
Aber die Richtung ist da. Es ist meine FHEM Webinstanze in Verbindung mit entweder Check_MK HTTP Check oder/und mein HAProxy. Ich gehe davon aus das der CRFS da eventuell Probleme macht. Aber genau analysieren kann/will ich es nicht.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline hoppel118

  • Sr. Member
  • ****
  • Beiträge: 947
Glückwunsch, tolles Projekt! ;)
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Glückwunsch, tolles Projekt! ;)

Danke Dir
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline willib

  • Full Member
  • ***
  • Beiträge: 375
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #52 am: 26 September 2019, 16:36:48 »
Bist du bei der vorher beschriebenen Lösung um USB Dongles an den LXC weiterzureichen geblieben?
Ich starte auch gerade mit Proxmox(NUC6CAY, kein Cluster) und das ist meine größte Sorge. Es gibt so viele verschieden Lösungen für den passtrough. Bleiben die dongles bei dir im Zugriff wenn du neu startest oder umsteckst?
FHEM in Debian 10 LXC unter Proxmox auf NUC, Homematic, Hue, Intertechno, Jeelink, RFXTRX, Harmony Hub, VU+ Uno 4K, Sonos, AMAD

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #53 am: 26 September 2019, 16:44:44 »
Bist du bei der vorher beschriebenen Lösung um USB Dongles an den LXC weiterzureichen geblieben?
Ich starte auch gerade mit Proxmox(NUC6CAY, kein Cluster) und das ist meine größte Sorge. Es gibt so viele verschieden Lösungen für den passtrough. Bleiben die dongles bei dir im Zugriff wenn du neu startest oder umsteckst?

Hallo,

Ich bin bei meiner Lösung geblieben. Tests habe gezeigt das mit der richtigen Konfiguration ich die Dongles abziehen kann, an einer anderen Node anstecken kann und wenn ich dann den Container auf die Node schwenke geht alles.
Wenn ich den Dongle an ein und der selben Node abziehe und wieder anstecke wird er sogar sofort wieder erkannt.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline hoppel118

  • Sr. Member
  • ****
  • Beiträge: 947
Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #54 am: 11 Januar 2020, 22:48:26 »
Moin,

bei mir reift die Idee, so etwas auch zu wollen. :) Proxmox und Ceph Cluster, allerdings mit 3 Nodes.

Momentan bin ich am Überlegen dafür den Intel NUC8I5BEK oder NUC8I5BEH einzusetzen.

Ist möglich mit einem NUC zu starten und wenn damit alles (KVM/LXC) läuft, dann den Cluster zu erstellen und zwei weitere NUCs zu ergänzen?

Dann kann ich erstmal gucken, wie ich mit dem einen NUC zurechtkomme, bevor ich gleich drei davon habe.

Ich müsste doch dann lediglich die HDD so vorbereiten bzw. partitionieren, dass ich später den Ceph Cluster bauen kann.

Ceph Partitionenunterstützung nur mit Trick 17
Die folgende Anleitung muß auf jeder Node meines zukünftigen ceph Clusters durchgeführt werden.
Das Ceph von Proxmox unterstützt leider keine Partitionen, hier kann man über das Web Gui lediglich komplette Festplatten angeben. Da ich aber keine weitere Platte anschließen kann und ich nun eine Partition sda4 habe möchte ich diese auch gerne verwenden. Dafür die Vorbereitung mit cfdisk. Weiterhin muß ich nun ein wenig in den Perlcode des Projektes eindringen und kleine Änderungen vornehmen.
Ich editieren die Datei /usr/share/perl5/PVE/API2/Ceph.pm
....

Das es per default nicht möglich ist eine Partition für Ceph zu verwenden, hatte ich mir nun auch schon angelesen.

Wie ist das, wenn PVE ein Update erhält? Kann es dann passieren, dass dann plötzlich nix mehr geht, weil die von dir angepasste Datei dann wieder in den Ursprungszustand versetzt wird? Wenn ja, kann man das irgendwie unterbinden?

Beim Intel NUC8I5BEK hätte ich keinen Platz für eine Extra 2,5“ SSD. Da passt lediglich eine M.2 hinein. Ich müsste die M.2 also partitionieren. Oder ich gehe auf Nummer sicher und nehme den NUC8I5BEH. Da passt dann zusätzlich zur M.2 noch eine 2,5“ SSD hinein und ich müsste nicht partitionieren. Dafür ist das Gehäuse dann auch nicht mehr so schön schlank und es wird „mehr“ Strom verbraucht.

Habe gestern mal den Zwischenstecker an gebracht. Der Verbrauch lag im Schnitt bei 100W. Sind auf das Jahr gerechnet in Euro um die 300 Euro. Ich kann damit leben.

Hat hier jemand Erfahrungswerte, was so ein NUC verbraucht?

Mein derzeitiger Server verbraucht momentan auch ca. 90W im 24/7 Betrieb. Es wäre schön, wenn ich das mit den NUCs irgendwie reduzieren könnte.

Allerdings habe ich dann noch das Problem, dass in dem Server auch noch eine TV-Karte steckt und TVHeadend damit im ganzen Netz TV-Streams bereitstellt. Was mache ich dann mit der TV-Karte (Digital Devices Max S8 -> bei 16 gleichzeitigen Aufnahmen habe ich aufgehört zu testen)? Die möchte ich schon gern behalten.

Evtl. passt die in den noch nicht erhältlichen neuen NUC9. Der soll wohl ein PCIe Steckplatz für eine zusätzliche Dual Slot Grafikkarte bereitstellen. Ich nehme an, dass dieser dann auch mit anderen PCIe Karten bestückt werden kann. Dann müsste ich nur noch herausfinden, ob die Max S8 vom Größenverhältnis her dort hineinpasst.

In dem Fall würde ich den Cluster also aus einem solchen NUC9 und zwei weiteren NUC8 zusammenstellen.

Bisher habe ich aber nur 2 Nodes, behelfe mir bezüglich des Quorums mit einem Corosync QDevice, sodass ich da keine Probleme mit den Quorum bekomme, wenn mal eine Node weg oder neu gestartet werden muss.

Du hast ja geschrieben, dass du auch nur 1 Netzwerkkarte in jedem System hast, das trifft bei mir auch zu. Ich baue auf Basis von Intel NUCs, so dass da einfach natürlich Limitierungen bei den Schnittstellen sind, wie in wahrscheinlich den meisten Mini-PC Systemen.

Welchen NUC hast du genau im Einsatz? Sind es mittlerweile evtl. schon 3? Wie sieht’s mit dem Stromverbrauch aus, kannst du da etwas zu sagen?

Eine Frage noch:

Netzwerk design
  • Proxmox Cluster Netzwerk - ist ein Sondernetzwerk nur für die Proxmoxcluster Funktionalität
  • Ceph Stotage Clusternetzwerk - Für das angedachte Ceph Storage Cluster

Warum hast du das in eigene VLANs gepackt?

Ich bin nun am Überlegen ein Management VLAN aufzusetzen, wo ich dann auch den Proxmox und den Ceph Cluster drin betreiben würde. Welche Probleme siehst du da? Ich möchte meine Netzstruktur auch flach halten. Momentan habe ich folgende VLANs:

1. Privat: alle Server, Netzwerkkomponenten und Endgeräte mit Linux, Windows, Android oder Apple OS
2. IOT: der ganze Kram, der irgendwie in der Cloud hängt oder Geräte für die es keine Firmware-Updates mehr gibt
3. Göste

Danke euch und viele Grüße

Hoppel
« Letzte Änderung: 11 Januar 2020, 23:01:06 von hoppel118 »
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ist möglich mit einem NUC zu starten und wenn damit alles (KVM/LXC) läuft, dann den Cluster zu erstellen und zwei weitere NUCs zu ergänzen?

Ja das sollte ohne Probleme möglich sein. Du kannst das erstmal in Ruhe testen mit einem.
Dann würde ich die anderen beiden erstmal zu einem Cluster verbinden und den ersten hinzufügen.


Das es per default nicht möglich ist eine Partition für Ceph zu verwenden, hatte ich mir nun auch schon angelesen.
Wie ist das, wenn PVE ein Update erhält? Kann es dann passieren, dass dann plötzlich nix mehr geht, weil die von dir angepasste Datei dann wieder in den Ursprungszustand versetzt wird? Wenn ja, kann man das irgendwie unterbinden?

Ab Version 6.0 sollte das nicht mehr nötig die Datei an zu passen. Man kann einfach in der Kommandozeile einen Befehl ausführen
ceph-volume lvm create --data /dev/sdXX
Damit wird dann auch eine Partition für Ceph vorbereitet.

Eine Frage noch:
Warum hast du das in eigene VLANs gepackt?
Ich bin nun am Überlegen ein Management VLAN aufzusetzen, wo ich dann auch den Proxmox und den Ceph Cluster drin betreiben würde. Welche Probleme siehst du da? Ich möchte meine Netzstruktur auch flach halten. Momentan habe ich folgende VLANs:

1. Privat: alle Server, Netzwerkkomponenten und Endgeräte mit Linux, Windows, Android oder Apple OS
2. IOT: der ganze Kram, der irgendwie in der Cloud hängt oder Geräte für die es keine Firmware-Updates mehr gibt
3. Göste
[/quote

Cluster und Ceph habe ich persönlich nur getrennt weil ich mich an die Vorgaben halten wollte. Bei mir bringt das nichts weil ich ja nur eine Netzwerkkarte habe.
Aber generell wird empfohlen Cluster und Ceph über separate Netzwerkkarten mindestens 1GBit an zu schließen. Aber das ging bei mir leider nicht.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline hoppel118

  • Sr. Member
  • ****
  • Beiträge: 947
Super, danke für die Infos.

Bin gespannt, wie das dann alles so läuft... Wird aber sicherlich noch etwas dauern bis es bei mir losgeht.

Werde das Release des NUC9 noch abwarten und dann ausschließlich 9er kaufen oder die 8er dann wohl hoffentlich etwas günstiger. ;)

Gruß Hoppel
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4
Informativ Informativ x 1 Liste anzeigen

Offline kotaro

  • Full Member
  • ***
  • Beiträge: 157
Hallo,,

ich wollte mal fragen, wie du es geschafft hast, deine USB-Sticks in unpreviligierte Container durchzureichen?
ich habe weiterhin das Problem, das ich Rechte habe, da UID und GID ja 100000 oder so ist, was im Hostsystem keine Berechtigung hat. hast du im Hostsystem berechtigung dafür erstellt? oder wie hast du das gelöst?
ich verzweifle gerade seit 2 Tagen daran....

Offline gloob

  • Hero Member
  • *****
  • Beiträge: 3081
Hallo,,

ich wollte mal fragen, wie du es geschafft hast, deine USB-Sticks in unpreviligierte Container durchzureichen?
ich habe weiterhin das Problem, das ich Rechte habe, da UID und GID ja 100000 oder so ist, was im Hostsystem keine Berechtigung hat. hast du im Hostsystem berechtigung dafür erstellt? oder wie hast du das gelöst?
ich verzweifle gerade seit 2 Tagen daran....

Um was für einen Stick geht es denn? Ich hatte es mal mit einem Conbee versucht und bin mit dem Support zusammen auch nicht zum Ziel gekommen.
Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

Offline kotaro

  • Full Member
  • ***
  • Beiträge: 157
mein 433MHz-Stick, der auf Arduino-nano basis selbst gebaut ist.

also, grundsätzlich geht Deconz genauso wie der USB,
der Deconz wird unter /dev/ttyAMC0 und der Arduino unter /dev/ttyUSB0 eingebunden.
im Container guckt man nach, uns sieht bei der Rechtevergabe das nobody:nogroup steht (weil im Kontainer alles ab 100000 anfängt, und nicht mit 0 --> daher können Programme im Container (mit der UID 100000 nicht auf das Hostsystem (UID 0) als root zugreifen..

den USB-Sticks würde ich aber gerne diese Berechtigung mittels Config mit auf den Weg geben.

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ich habe mittels udev Rules entsprechende Links anlegen lassen. Damit hat es dann geklappt.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Sir Volvic

  • New Member
  • *
  • Beiträge: 6
Entweder habe ich es komplett anders gelöst, oder ich verstehe die Probleme mit dem USB-Passthrough nicht. Wobei ich direkt einen priviligierten Container erstellt habe. Mir gehts nicht um die Sicherheit, sondern um backup / snapshots / flexibilität / backupStorage im NAS /...
Deshalb mal mein Ansatz:

Im PVE-Host, werden die USB-Geräte ja z.B. nach /dev/ttyUSBx eingebunden und u.a. unter /dev/serial/by-id/#IRGENDEIN-FILE wird ein Link auf /dev/ttyUSB? erstellt, wobei "?" bei jedem Ein- / Ausstecken anders sein kann.
In der lxc.config greife ich gleich /dev/serial/by-id/#IRGENDEIN-FILE ab um das in den Container durchzureichen. Damit habe ich immer das USB-Gerät, das ich erwarte. Und weil ich die Namen im Container beeinflussen kann, vergebe ich gleich was sprechendes.

Ein Auszug auf meiner /etc/pve/lxc/105.conf:
lxc.mount.entry   = /dev/serial/by-id/usb-busware.de_CUL868-if00   dev/culHM1   none bind,optional,create=file 0 0
lxc.mount.entry   = /dev/serial/by-id/usb-FTDI_FT232R_USB_UART_AL011BAY-if00-port0   dev/culIT1   none bind,optional,create=file 0 0

In FHEM verweisen meine defines entsprechend zu /dev/culHM1 oder /dev/zwave1 ...

Probleme habe ich nur mit einem Wetterdatenempfänger von ELV, der wird als
/dev/serial/by-id/usb-Silicon_Labs_ELV_USB-WDE1_Wetterdatenempfänger_TIDO3PWDQAFGTYBB-if00-port0 im Host eingebunden. Und das "ä" wird dabei wohl zur Stolperfalle.

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Entweder habe ich es komplett anders gelöst, oder ich verstehe die Probleme mit dem USB-Passthrough nicht. Wobei ich direkt einen priviligierten Container erstellt habe. Mir gehts nicht um die Sicherheit, sondern um backup / snapshots / flexibilität / backupStorage im NAS /...

Und damit hasst Du Dir ja auch schon die Frage selber beantwortet!! Ein priviligierter Container ist was anderes wie ein unpriviligierter!!!
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
In der Zwischenzeit habe ich im übrigen enorm ausgebaut. Ich habe Jellyfin installiert um meine Videos- und Musikdateien zu verwalten und im Netz verfügbar zu machen. Für das encoding habe ich das render Blockdevice an den Container durchgereicht damit ich Hardwarerendering machen kann.
Desweiteren habe ich eine 5 TB Platte direkt an den Container durchgereicht wo meine Mediafiles liegen.
Und viele wissen das ich ich die Nextcloud für mich entdeckt habe welche ebenfalls im Container läuft.

Alles ist enorm gewachsen seit meinen Anfängen

Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline mbrak

  • Full Member
  • ***
  • Beiträge: 183
Ich habe mittels udev Rules entsprechende Links anlegen lassen. Damit hat es dann geklappt.

Hi cooltux

kannst Du das vielleicht mal an einem Beispiel zeigen?
Ich habe seit 3 Monaten einen kleinen Cluster (HP Thinclients) am laufen und bin begeistert. Nur das Passtrough des einzigen USB Devices bekomm ich nicht hin. Ist ein CP2102 (TEK603-Protheus Tanksensor für meinen Heizöltank). Dieser soll per /by-id/ eingebunden werden und hat ein ttyUSB0. Ich bekomm das auch auf dem Container hin aber nur mit nobody:nogroup. Also kein Zugriff möglich von FHEM. Bin echt langsam am verzeweifeln und finde im Netz nichts mehr was mich da weiterbringt.

Gruß Michael

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Hi cooltux

kannst Du das vielleicht mal an einem Beispiel zeigen?
Ich habe seit 3 Monaten einen kleinen Cluster (HP Thinclients) am laufen und bin begeistert. Nur das Passtrough des einzigen USB Devices bekomm ich nicht hin. Ist ein CP2102 (TEK603-Protheus Tanksensor für meinen Heizöltank). Dieser soll per /by-id/ eingebunden werden und hat ein ttyUSB0. Ich bekomm das auch auf dem Container hin aber nur mit nobody:nogroup. Also kein Zugriff möglich von FHEM. Bin echt langsam am verzeweifeln und finde im Netz nichts mehr was mich da weiterbringt.

Gruß Michael

Stelle gerade fest das ich mir dazu gar keine Notizen gemacht habe. Gib mir mal bitte kurz Zeit dann verlinke ich Dir was.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
So schau mal bitte hier
https://tuxnetwiki-tuxnet.ddns.net/doku.php

Dann unter Proxmox VE Virtualisierungscluster -> LXC Container -> USB Device an Container durchreichen


Grüße
Marko
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net
Informativ Informativ x 1 Liste anzeigen

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Hallo zusammen,

ich habe mich auch entschlossen, meinen Server komplett nach Proxmox zu migrieren. Dies läuft soweit auch recht gut.

Meine Herausforderung besteht aktuell im Durchreichen des Busmaster für 1-Wire. Der Busmaster erstellt kein Device (jedenfalls habe ich keines feststellen können) und erscheint mit 003:005 auf dem PCI Bus. Ich habe die entsprechende Durchreichung für 003:005 konfiguriert. Aber leider wird im (nicht privilegierten) Container der owserver nicht gestartet und keine 1-Wire Devices erstellt.

Was mache ich falsch? Was fehlt noch?

Viele Grüße
Frank

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Hallo zusammen,

ich habe mich auch entschlossen, meinen Server komplett nach Proxmox zu migrieren. Dies läuft soweit auch recht gut.

Meine Herausforderung besteht aktuell im Durchreichen des Busmaster für 1-Wire. Der Busmaster erstellt kein Device (jedenfalls habe ich keines feststellen können) und erscheint mit 003:005 auf dem PCI Bus. Ich habe die entsprechende Durchreichung für 003:005 konfiguriert. Aber leider wird im (nicht privilegierten) Container der owserver nicht gestartet und keine 1-Wire Devices erstellt.

Was mache ich falsch? Was fehlt noch?

Viele Grüße
Frank

Es gibt auf alle Fälle eine Gerätedatei. Die musst Du mit angeben.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Hallo zusammen,

ich habe mich auch entschlossen, meinen Server komplett nach Proxmox zu migrieren. Dies läuft soweit auch recht gut.

Meine Herausforderung besteht aktuell im Durchreichen des Busmaster für 1-Wire. Der Busmaster erstellt kein Device (jedenfalls habe ich keines feststellen können) und erscheint mit 003:005 auf dem PCI Bus. Ich habe die entsprechende Durchreichung für 003:005 konfiguriert. Aber leider wird im (nicht privilegierten) Container der owserver nicht gestartet und keine 1-Wire Devices erstellt.

Was mache ich falsch? Was fehlt noch?

Viele Grüße
Frank

Ich kenne mich damit leider nicht so gut aus. Was genau ist das für ein Teil? Ist es eine PCI Steckkarte oder ein USB Adapter?
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Es gibt auf alle Fälle eine Gerätedatei. Die musst Du mit angeben.

Vielen Dank für deinen Hinweis. Was meinst Du mit Gerätedatei?

Normalerweise wird ein Device angelegt, welche ich auch mit an den LXC-Container durchreiche. Bei dem 1-Wire Busmaster wird anscheinend kein Device angelegt.

Beispiel, wie ich hier den CUL durchreiche:
lxc.cgroup.devices.allow: c 189:* rwm
lxc.mount.entry: /dev/bus/usb/001/002 dev/bus/usb/001/002 none bind,optional,create=file
lxc.cgroup.devices.allow: c 166:* rwm
lxc.mount.entry: /dev/ttyACM0 dev/ttyACM0 none bind,optional,create=file

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Ich kenne mich damit leider nicht so gut aus. Was genau ist das für ein Teil? Ist es eine PCI Steckkarte oder ein USB Adapter?

Die ist ein USB-Adapter. Mit lsusb erhalte ich:
Bus 003 Device 006: ID 04fa:2490 Dallas Semiconductor DS1490F 2-in-1 Fob, 1-Wire adapter

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Die ist ein USB-Adapter. Mit lsusb erhalte ich:
Bus 003 Device 006: ID 04fa:2490 Dallas Semiconductor DS1490F 2-in-1 Fob, 1-Wire adapter

Ok und wie heißt die Geräte Datei unter /dev/ für den Adapter? Schau bitte erstmal auf dem Host. Habe kurz quer gelesen und ich bilde mir ein er wird als serielles Device erkannt. Also sowas wie /dev/tty???
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Ok und wie heißt die Geräte Datei unter /dev/ für den Adapter? Schau bitte erstmal auf dem Host. Habe kurz quer gelesen und ich bilde mir ein er wird als serielles Device erkannt. Also sowas wie /dev/tty???

Die Liste der Devices unter /dev/tty* ist vor dem Einstecken die gleiche wie nach dem Einstecken des Busmasters. Oder kann es sein, dass beim Einstecken eins dieser vorher schon vorhandenen Devices "belegt" wird? Wie könnte man dies erkennen?

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Die Liste der Devices unter /dev/tty* ist vor dem Einstecken die gleiche wie nach dem Einstecken des Busmasters. Oder kann es sein, dass beim Einstecken eins dieser vorher schon vorhandenen Devices "belegt" wird? Wie könnte man dies erkennen?

Am besten siehst Du es im syslog.
Also USB Adapter am Host rausziehen. Dann
tail -f /var/log/syslog
Und dann den Adapter einstecken. Kurz warten und dann Strg+c drücken. Die Syslogausgabe sollte Dir oder uns sagen welches Device angelegt wurde.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Wernieman

  • Developer
  • Hero Member
  • ****
  • Beiträge: 6246
Wollte ich auch gerade schreiben .. CoolTux war schneller
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Und dann den Adapter einstecken. Kurz warten und dann Strg+c drücken. Die Syslogausgabe sollte Dir oder uns sagen welches Device angelegt wurde.

Ich bekomme dann folgende Ausgabe:

Mar 25 10:28:10 srv kernel: [  334.384194] usb 1-5: new full-speed USB device number 4 using xhci_hcd
Mar 25 10:28:10 srv kernel: [  334.532966] usb 1-5: New USB device found, idVendor=04fa, idProduct=2490, bcdDevice                                                                                                                           = 0.02
Mar 25 10:28:10 srv kernel: [  334.532971] usb 1-5: New USB device strings: Mfr=0, Product=0, SerialNumber=0
Mar 25 10:28:09 srv OWFS[2189]: message repeated 7 times: [ DEFAULT: ow_reconnect.c:(70) Failed to reconnect DS949                                                                                                                           0 bus master!]
Mar 25 10:28:10 srv mtp-probe: checking bus 1, device 4: "/sys/devices/pci0000:00/0000:00:14.0/usb1/1-5"
Mar 25 10:28:10 srv mtp-probe: bus: 1, device: 4 was not an MTP device
Mar 25 10:28:11 srv OWFS[2189]: DEFAULT: ow_usb_msg.c:(214) Opened USB DS9490 bus master at 1:4.
Mar 25 10:28:11 srv OWFS[2189]: DEFAULT: ow_ds9490.c:(442) Found USB DS9490 bus master after USB rescan as [1:4]
Mar 25 10:28:11 srv OWFS[2189]: DEFAULT: ow_reconnect.c:(72) DS9490 bus master reconnected
Mar 25 10:28:11 srv colord[2712]: MIB search path: /var/lib/colord/.snmp/mibs:/usr/share/snmp/mibs:/usr/share/snmp                                                                                                                           /mibs/iana:/usr/share/snmp/mibs/ietf:/usr/share/mibs/site:/usr/share/snmp/mibs:/usr/share/mibs/iana:/usr/share/mib                                                                                                                           s/ietf:/usr/share/mibs/netsnmp
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (IF-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (IP-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (TCP-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (UDP-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (HOST-RESOURCES-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (NOTIFICATION-LOG-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (DISMAN-EVENT-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (DISMAN-SCHEDULE-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (HOST-RESOURCES-TYPES): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (MTA-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (NETWORK-SERVICES-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TC): At line 15 in /usr/share/snmp/mibs/UCD-DISKIO-MI                                                                                                                           B.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-SMI): At line 34 in /usr/share/snmp/mibs/UCD-SNMP-MIB                                                                                                                           .txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TC): At line 37 in /usr/share/snmp/mibs/UCD-SNMP-MIB.                                                                                                                           txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'enterprises' in module #-1 (/usr/share/snmp/mibs/UCD-SNMP-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'DisplayString' in module #-1 (/usr/share/snmp/mibs/UCD-SNMP-MIB.tx                                                                                                                           t)
Mar 25 10:28:11 srv colord[2712]: Did not find 'TruthValue' in module #-1 (/usr/share/snmp/mibs/UCD-SNMP-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in UCD-SNMP-MIB: ucdavis ::= { enterprises 2021 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: enterprises near line 39 of /usr/share/snmp/mibs/UCD-SNMP-                                                                                                                           MIB.txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'DisplayString' in module #-1 (/usr/share/snmp/mibs/UCD-DISKIO-MIB.                                                                                                                           txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'ucdExperimental' in module UCD-SNMP-MIB (/usr/share/snmp/mibs/UCD-                                                                                                                           DISKIO-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in UCD-DISKIO-MIB: ucdDiskIOMIB ::= { ucdExperimental 15 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: ucdExperimental near line 19 of /usr/share/snmp/mibs/UCD-D                                                                                                                           ISKIO-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TC): At line 10 in /usr/share/snmp/mibs/UCD-DLMOD-MIB                                                                                                                           .txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'DisplayString' in module #-1 (/usr/share/snmp/mibs/UCD-DLMOD-MIB.t                                                                                                                           xt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'ucdExperimental' in module UCD-SNMP-MIB (/usr/share/snmp/mibs/UCD-                                                                                                                           DLMOD-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in UCD-DLMOD-MIB: ucdDlmodMIB ::= { ucdExperimental 14 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: ucdExperimental near line 13 of /usr/share/snmp/mibs/UCD-D                                                                                                                           LMOD-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TC): At line 15 in /usr/share/snmp/mibs/LM-SENSORS-MI                                                                                                                           B.txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'DisplayString' in module #-1 (/usr/share/snmp/mibs/LM-SENSORS-MIB.                                                                                                                           txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'ucdExperimental' in module UCD-SNMP-MIB (/usr/share/snmp/mibs/LM-S                                                                                                                           ENSORS-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in LM-SENSORS-MIB: lmSensors ::= { ucdExperimental 16 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: ucdExperimental near line 32 of /usr/share/snmp/mibs/LM-SE                                                                                                                           NSORS-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'ucdavis' in module UCD-SNMP-MIB (/usr/share/snmp/mibs/UCD-DEMO-MIB                                                                                                                           .txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in UCD-DEMO-MIB: ucdDemoMIB ::= { ucdavis 14 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: ucdavis near line 7 of /usr/share/snmp/mibs/UCD-DEMO-MIB.t                                                                                                                           xt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-TARGET-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-FRAMEWORK-MIB): At line 9 in /usr/share/snmp/mibs/NET-S                                                                                                                           NMP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-SMI): At line 8 in /usr/share/snmp/mibs/NET-SNMP-MIB.                                                                                                                           txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'enterprises' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-MIB: netSnmp ::= { enterprises 8072 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: enterprises near line 10 of /usr/share/snmp/mibs/NET-SNMP-                                                                                                                           MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TC): At line 21 in /usr/share/snmp/mibs/NET-SNMP-AGEN                                                                                                                           T-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'SnmpAdminString' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-AGEN                                                                                                                           T-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'netSnmpObjects' in module NET-SNMP-MIB (/usr/share/snmp/mibs/NET-S                                                                                                                           NMP-AGENT-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'netSnmpModuleIDs' in module NET-SNMP-MIB (/usr/share/snmp/mibs/NET                                                                                                                           -SNMP-AGENT-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'netSnmpNotifications' in module NET-SNMP-MIB (/usr/share/snmp/mibs                                                                                                                           /NET-SNMP-AGENT-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'netSnmpGroups' in module NET-SNMP-MIB (/usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'DisplayString' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-AGENT-                                                                                                                           MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'RowStatus' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-AGENT-MIB.                                                                                                                           txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'TruthValue' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-AGENT-MIB                                                                                                                           .txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsAgentNotifyGroup ::= { netSnmpGroups 9 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpGroups near line 545 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsTransactionGroup ::= { netSnmpGroups 8 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpGroups near line 536 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsConfigGroups ::= { netSnmpGroups 7 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpGroups near line 515 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsCacheGroup ::= { netSnmpGroups 4 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpGroups near line 505 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsModuleGroup ::= { netSnmpGroups 2 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpGroups near line 495 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: netSnmpAgentMIB ::= { netSnmpModuleIDs 2 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpModuleIDs near line 24 of /usr/share/snmp/mibs/NET-                                                                                                                           SNMP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsTransactions ::= { netSnmpObjects 8 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 55 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsConfiguration ::= { netSnmpObjects 7 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 54 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsErrorHistory ::= { netSnmpObjects 6 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 53 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsCache ::= { netSnmpObjects 5 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 52 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsDLMod ::= { netSnmpObjects 4 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 51 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsExtensions ::= { netSnmpObjects 3 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 50 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsMibRegistry ::= { netSnmpObjects 2 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 49 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsVersion ::= { netSnmpObjects 1 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 48 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsNotifyRestart ::= { netSnmpNotifications 3                                                                                                                            }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpNotifications near line 482 of /usr/share/snmp/mibs                                                                                                                           /NET-SNMP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsNotifyShutdown ::= { netSnmpNotifications                                                                                                                            2 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpNotifications near line 476 of /usr/share/snmp/mibs                                                                                                                           /NET-SNMP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-AGENT-MIB: nsNotifyStart ::= { netSnmpNotifications 1 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpNotifications near line 470 of /usr/share/snmp/mibs                                                                                                                           /NET-SNMP-AGENT-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-MPD-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-USER-BASED-SM-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-FRAMEWORK-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-VIEW-BASED-ACM-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-COMMUNITY-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (IPV6-ICMP-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (IPV6-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (IPV6-TCP-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (IPV6-UDP-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (IP-FORWARD-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-FRAMEWORK-MIB): At line 10 in /usr/share/snmp/mibs/NET-                                                                                                                           SNMP-PASS-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-FRAMEWORK-MIB): At line 10 in /usr/share/snmp/mibs/NET-                                                                                                                           SNMP-EXAMPLES-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TC): At line 12 in /usr/share/snmp/mibs/NET-SNMP-EXAM                                                                                                                           PLES-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (INET-ADDRESS-MIB): At line 13 in /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-EXAMPLES-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'SnmpAdminString' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-EXAM                                                                                                                           PLES-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'netSnmp' in module NET-SNMP-MIB (/usr/share/snmp/mibs/NET-SNMP-EXA                                                                                                                           MPLES-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'RowStatus' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-EXAMPLES-M                                                                                                                           IB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'StorageType' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-EXAMPLES                                                                                                                           -MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'InetAddressType' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-EXAM                                                                                                                           PLES-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'InetAddress' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-EXAMPLES                                                                                                                           -MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-EXAMPLES-MIB: netSnmpExamples ::= { netSnmp 2 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmp near line 16 of /usr/share/snmp/mibs/NET-SNMP-EXAM                                                                                                                           PLES-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'SnmpAdminString' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-PASS                                                                                                                           -MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'netSnmpExamples' in module NET-SNMP-EXAMPLES-MIB (/usr/share/snmp/                                                                                                                           mibs/NET-SNMP-PASS-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-PASS-MIB: netSnmpPassExamples ::= { netSnmpExamples 255                                                                                                                            }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpExamples near line 14 of /usr/share/snmp/mibs/NET-S                                                                                                                           NMP-PASS-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TC): At line 16 in /usr/share/snmp/mibs/NET-SNMP-EXTE                                                                                                                           ND-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'nsExtensions' in module NET-SNMP-AGENT-MIB (/usr/share/snmp/mibs/N                                                                                                                           ET-SNMP-EXTEND-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'DisplayString' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-EXTEND                                                                                                                           -MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'RowStatus' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-EXTEND-MIB                                                                                                                           .txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'StorageType' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-EXTEND-M                                                                                                                           IB.txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-EXTEND-MIB: nsExtendGroups ::= { nsExtensions 3 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: nsExtensions near line 39 of /usr/share/snmp/mibs/NET-SNMP                                                                                                                           -EXTEND-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-EXTEND-MIB: nsExtendObjects ::= { nsExtensions 2 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: nsExtensions near line 38 of /usr/share/snmp/mibs/NET-SNMP                                                                                                                           -EXTEND-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-EXTEND-MIB: netSnmpExtendMIB ::= { nsExtensions 1 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: nsExtensions near line 19 of /usr/share/snmp/mibs/NET-SNMP                                                                                                                           -EXTEND-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-NOTIFICATION-MIB): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TM): At line 1 in (none)
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-FRAMEWORK-MIB): At line 9 in /usr/share/snmp/mibs/NET-S                                                                                                                           NMP-VACM-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMP-VIEW-BASED-ACM-MIB): At line 16 in /usr/share/snmp/mibs                                                                                                                           /NET-SNMP-VACM-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot find module (SNMPv2-TC): At line 25 in /usr/share/snmp/mibs/NET-SNMP-VACM                                                                                                                           -MIB.txt
Mar 25 10:28:11 srv colord[2712]: Did not find 'SnmpAdminString' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-VACM                                                                                                                           -MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'netSnmpObjects' in module NET-SNMP-MIB (/usr/share/snmp/mibs/NET-S                                                                                                                           NMP-VACM-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'netSnmpGroups' in module NET-SNMP-MIB (/usr/share/snmp/mibs/NET-SN                                                                                                                           MP-VACM-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'vacmGroupName' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-VACM-M                                                                                                                           IB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'vacmAccessContextPrefix' in module #-1 (/usr/share/snmp/mibs/NET-S                                                                                                                           NMP-VACM-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'vacmAccessSecurityModel' in module #-1 (/usr/share/snmp/mibs/NET-S                                                                                                                           NMP-VACM-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'vacmAccessSecurityLevel' in module #-1 (/usr/share/snmp/mibs/NET-S                                                                                                                           NMP-VACM-MIB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'DisplayString' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-VACM-M                                                                                                                           IB.txt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'RowStatus' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-VACM-MIB.t                                                                                                                           xt)
Mar 25 10:28:11 srv colord[2712]: Did not find 'StorageType' in module #-1 (/usr/share/snmp/mibs/NET-SNMP-VACM-MIB                                                                                                                           .txt)
Mar 25 10:28:11 srv colord[2712]: Unlinked OID in NET-SNMP-VACM-MIB: netSnmpVacmMIB ::= { netSnmpObjects 9 }
Mar 25 10:28:11 srv colord[2712]: Undefined identifier: netSnmpObjects near line 28 of /usr/share/snmp/mibs/NET-SN                                                                                                                           MP-VACM-MIB.txt
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchRegExCompilation ::= { logMatchEntry 1                                                                                                                           01 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchErrorFlag ::= { logMatchEntry 100 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchCycle ::= { logMatchEntry 11 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchCount ::= { logMatchEntry 10 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchCounter ::= { logMatchEntry 9 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchCurrentCount ::= { logMatchEntry 8 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchCurrentCounter ::= { logMatchEntry 7 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchGlobalCount ::= { logMatchEntry 6 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchGlobalCounter ::= { logMatchEntry 5 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchRegEx ::= { logMatchEntry 4 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchFilename ::= { logMatchEntry 3 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchName ::= { logMatchEntry 2 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: logMatchIndex ::= { logMatchEntry 1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-VACM-MIB: nsVacmAccessEntry ::= { nsVacmAccessTable                                                                                                                            1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: extErrFixCmd ::= { extEntry 103 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: extErrFix ::= { extEntry 102 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: extOutput ::= { extEntry 101 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: extResult ::= { extEntry 100 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: extCommand ::= { extEntry 3 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: extNames ::= { extEntry 2 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: extIndex ::= { extEntry 1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-DEMO-MIB: ucdDemoPublic ::= { ucdDemoMIBObjects 1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-DLMOD-MIB: dlmodTable ::= { ucdDlmodMIB 2 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-DLMOD-MIB: dlmodNextIndex ::= { ucdDlmodMIB 1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-EXAMPLES-MIB: netSnmpExamples ::= { netSnmp 2 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-MIB: netSnmpConformance ::= { netSnmp 5 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-MIB: netSnmpNotificationPrefix ::= { netSnmp 4 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-MIB: netSnmpExperimental ::= { netSnmp 9999 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-MIB: netSnmpEnumerations ::= { netSnmp 3 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-MIB: netSnmpObjects ::= { netSnmp 1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionDoDebugging ::= { version 20 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionSavePersistentData ::= { version 13 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionRestartAgent ::= { version 12 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionUpdateConfig ::= { version 11 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionClearCache ::= { version 10 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionConfigureOptions ::= { version 6 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionIdent ::= { version 5 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionCDate ::= { version 4 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionDate ::= { version 3 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionTag ::= { version 2 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: versionIndex ::= { version 1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-EXAMPLES-MIB: netSnmpExampleHeartbeatNotification :                                                                                                                           := { netSnmpExampleNotificationPrefix 1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-AGENT-MIB: nsCacheStatus ::= { nsCacheEntry 3 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-AGENT-MIB: nsCacheTimeout ::= { nsCacheEntry 2 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in NET-SNMP-AGENT-MIB: nsCachedOID ::= { nsCacheEntry 1 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: unknown ::= { ucdSnmpAgent 255 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: dragonfly ::= { ucdSnmpAgent 17 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: macosx ::= { ucdSnmpAgent 16 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: aix ::= { ucdSnmpAgent 15 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: hpux11 ::= { ucdSnmpAgent 14 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: win32 ::= { ucdSnmpAgent 13 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: openbsd ::= { ucdSnmpAgent 12 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: bsdi ::= { ucdSnmpAgent 11 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: linux ::= { ucdSnmpAgent 10 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: irix ::= { ucdSnmpAgent 9 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: freebsd ::= { ucdSnmpAgent 8 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: netbsd1 ::= { ucdSnmpAgent 7 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: hpux10 ::= { ucdSnmpAgent 6 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: ultrix ::= { ucdSnmpAgent 5 }
Mar 25 10:28:11 srv colord[2712]: Cannot adopt OID in UCD-SNMP-MIB: osf ::= { ucdSnmpAgent 4 }
« Letzte Änderung: 25 März 2020, 10:41:00 von Bastel-Frank »

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ohne jetzt genau Bescheid zu wissen sieht es so aus als wenn ihm ein Kernelmodul fehlt. Wie hast Du denn sonst immer 1-wire und den USB Dongle installiert? Das selbe musst Du auch auf dem Hostsystem machen.
Der Container verwendet ja den Kernel und alle Module vom Hostsystem. Daher immer erst die Hardware auf dem Host lauffähig bekommen und dann kommt der Container.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Ohne jetzt genau Bescheid zu wissen sieht es so aus als wenn ihm ein Kernelmodul fehlt.

ok, interessanter Hinweis. Ich glaube ich werde mal eine richtige VM installieren. Der (unprivilegierte) Container ist möglicherweise beschnitten.

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
ok, interessanter Hinweis. Ich glaube ich werde mal eine richtige VM installieren. Der (unprivilegierte) Container ist möglicherweise beschnitten.

Noch mal. Es ist noch nicht der Container. Als erstes muss das Hostsystem (also Proxmox) das Gerät unterstützen und die Kernelmodule dafür haben.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Noch mal. Es ist noch nicht der Container. Als erstes muss das Hostsystem (also Proxmox) das Gerät unterstützen und die Kernelmodule dafür haben.

ok... verstanden. Danke für den Anstoß. Was kann ich denn mit Hostsystem machen, um an den fehlenden Kerneltreiber zu kommen?

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Versuche im Internet etwas zu finden wie man 1-Wire unter Debian einrichtet. Sicherlich muss man da noch etwas installieren oder so.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Wernieman

  • Developer
  • Hero Member
  • ****
  • Beiträge: 6246
Mar 25 10:28:10 srv kernel: [  334.384194] usb 1-5: new full-speed USB device number 4 using xhci_hcdSorry Euch zu Wiedersprechen, aber wo steht, das er einen Treiber sucht und nicht findet?
Allerdings läuft auf dem Server (Hostsystem) auch ein OWFS. Könntest Du den erstmal deaktivieren?

Leider ist zusätzlich das Log voll mit snmp Anfragen .... und dem colord-Deamon ...

Habe es jetzt auf die schnelle nicht gesehen, aber was ist es für ein System (Distri?), mit oder ohne grafisches Login?



- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Cannot find module

Aber das sah vorhin in der Ausgabe etwas anders aus. Jetzt erkennt man das die Meldung nicht vom Kernel kommt.
Leider sieht man immer noch nicht welches Device angelegt wird.

Mar 25 10:28:10 srv kernel: [  334.384194] usb 1-5: new full-speed USB device number 4 using xhci_hcd
sagt ja nur das er den USB2 und höher Support läd.


Das System sollte ein Debian Buster sein und ohne Grafik. Sofern er die Installation über die Proxmox Install CD gemacht hat.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Wernieman

  • Developer
  • Hero Member
  • ****
  • Beiträge: 6246
Zitat
sollte ein Debian Buster
Gerade bei Problemen frage ich sicherheitshalber nach.

Was mich gerade interessiert ... was sagt das System zu dem gerät (Habe so meine Vermutung, das es als Human Device erkannt wird):
lsusb -v -s 04fa:2490
Ich hoffe, ich habe aus Deiner Ausgabe den Richtigen Vendor/Device-String rauskopiert (das hinter dem -s)
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
lsusb -v -s 04fa:2490

bringt leider eine leere Ausgabe (Vendor/Device ist richtig angegeben).

Offline Wernieman

  • Developer
  • Hero Member
  • ****
  • Beiträge: 6246
Wirklich????
Mach bitte mal ein:
lsusb -t
- Bitte um Input für Output
- When there is a Shell, there is a Way
- Wann war Dein letztes Backup?

Wie man Fragen stellt: https://tty1.net/smart-questions_de.html

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Vielleicht ein Hinweis: Pah hat festgestellt:

DS2490 kann nur über libusb angesprochen werden, macht eben keinen /dev/ttyUSBX-Port auf.

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Vielleicht ein Hinweis: Pah hat festgestellt:

Dann wird es mit Container nichts. Dann musst versuchen ob Du es in einer VM hin bekommst.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Noch ein Hinweis, es scheint so, dass unter Proxmox der Kernel-Treiber fehlt:
modprobe DS9490RFATAL: Module DS9490R not found in directory /lib/modules/5.3.18-3-pve

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Dann schau mal im Netz ob der im Vanilla Kernel vorhanden ist oder ob das Modul über eine gesonderte Packetinstall hinzu kommt.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Ich bin einen Schritt weitergekommen:

Geholfen hat https://monarch.qucosa.de/api/qucosa%3A19659/attachment/ATT-0/ Seite 37

Ich habe die beiden Kernel-Module ds2490 und wire geladen. Anschließend habe ich die 1-Wire Devices unter /sys/devices/w1_bus_master1 sehen können.

Ein mounten der 1-Wire devices ist dann auch gelungen. Was nachwievor nicht funktioniert, ist der owserver und owhttpd. Hier kommt beim Restart die Fehlermeldung "Failed to start Backend server for 1-wire control."

Mein nächste Idee ist die owserver-Modul selbst aus den Quellen zu übersetzen.

@CoolTux: Ich werde dann wohl meine Anfrage im Proxmox-Forum zurücknehmen.... oder anpassen, dass die owserver-Module nicht laufen ... mal sehen.
Informativ Informativ x 2 Liste anzeigen

Online CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25249
Ich bin einen Schritt weitergekommen:

Geholfen hat https://monarch.qucosa.de/api/qucosa%3A19659/attachment/ATT-0/ Seite 37

Ich habe die beiden Kernel-Module ds2490 und wire geladen. Anschließend habe ich die 1-Wire Devices unter /sys/devices/w1_bus_master1 sehen können.

Ein mounten der 1-Wire devices ist dann auch gelungen. Was nachwievor nicht funktioniert, ist der owserver und owhttpd. Hier kommt beim Restart die Fehlermeldung "Failed to start Backend server for 1-wire control."

Mein nächste Idee ist die owserver-Modul selbst aus den Quellen zu übersetzen.

@CoolTux: Ich werde dann wohl meine Anfrage im Proxmox-Forum zurücknehmen.... oder anpassen, dass die owserver-Module nicht laufen ... mal sehen.

Hallo Frank,

Wenn Du so tiefgreifende Dinge auf dem Proxmox Host machen musst würde ich das wirklich lassen und liebe einer virtuelle Maschine auf setzen wo Du vom Host aus nur das USB durchreist. Ich bilde mir ein das geht ohne Treiber da die Hardware durchgereicht wird so weit mir bekannt.
Lass Dein Proxmox lieber sauber das es ohne Probleme läuft.
Nur eine Empfehlung von mir.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
Lass Dein Proxmox lieber sauber das es ohne Probleme läuft.

Ja, stimmt, das wäre der bessere Weg. Ich habe eine Ubuntu-VM aufgesetzt und das PCI-Device durchgereicht. Das Ergebnis ist seltsamerweise genau das gleiche. Im dieser VM läuft der owserver auch nicht ... Das verstehe wer will ...

Ich werde jetzt zunächst den Weg gehen und in der VM den owserver neu übersetzen.
Gefällt mir Gefällt mir x 1 Liste anzeigen

Offline Bastel-Frank

  • Full Member
  • ***
  • Beiträge: 416
So, ich habe eine Lösung gefunden, die für mich ok ist:
Ich habe eine VM eingerichtet und owfs aus den Sourcen erstellt. Tipps dazu findet man unter https://sites.google.com/site/raspihs1/software/owfs/owfs. Als Startparameter für den owserver habe ich "--w1" genutzt, um das Kernelmodul für 1-Wire anzusprechen und habe eine Konfig unter /etc/owfs.conf angelegt und diese ebenfalls als Startparameter mit "-c /etc/owfs.conf" angegeben.

Dazu habe ich dann noch einen systemd-Service erstellt. Jetzt kann man von fhem den owserver auf der VM ansprechen.

Komischerweise lief owserver weder unter dem Proxmox-OS noch mit den fertigen Paketen unter Ubuntu.

 

decade-submarginal