Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign

Begonnen von CoolTux, 30 Mai 2018, 08:50:31

Vorheriges Thema - Nächstes Thema

ch.eick

Hallo CoolTux,

nur mal so zur Motivation :-)
FHEM läuft auch in einer Solaris 11.3 Zone, nachdem man diverse Pakete und Perl Module nachinstalliert hat.
Ich habe von vorn herein meine FHEM Device nach LAN Fähigkeit ausgesucht und somit USB und GPIO HW vermieden.

Gruß
    Christian
RPI4; Docker; CUNX; Eltako FSB61NP; SamsungTV H-Serie; Sonos; Vallox; Luxtronik; 3x FB7490; Stromzähler mit DvLIR; wunderground; Plenticore 10 mit BYD; EM410; SMAEM; Modbus TCP
Contrib: https://svn.fhem.de/trac/browser/trunk/fhem/contrib/ch.eick

CoolTux

Ich habe die USB Dongle vorerst an der zweiten FHEM Instanz beim Pi umgezogen. Aber ich denke ich werde den Dongle an den Container binden später. Aber ich musste nun leider schnell handeln weil mein FHEM ständig den Speicher vom Pi auf frass. Warum auch immer. Mal schauen ob es im Container runder läuft.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

CoolTux

So ich habe es nun endlich geschafft. Nach sage und schreibe 1,5 Jahren ist mein komplettes FHEM System (2 produktive Instanzen) in die Proxmox Umgebung als LX Container gezogen. Samt RFXtrx und SIGNALduino USB Dongle.
Somit habe ich nun meine große Reise beendet  ;D


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

gloob

Zitat von: CoolTux am 31 August 2019, 17:51:50
So ich habe es nun endlich geschafft. Nach sage und schreibe 1,5 Jahren ist mein komplettes FHEM System (2 produktive Instanzen) in die Proxmox Umgebung als LX Container gezogen. Samt RFXtrx und SIGNALduino USB Dongle.
Somit habe ich nun meine große Reise beendet  ;D


Grüße

Jetzt musst du nur noch lösen, warum der Speicherverbrauch ansteigt
Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

CoolTux

Zitat von: gloob am 31 August 2019, 18:20:06
Jetzt musst du nur noch lösen, warum der Speicherverbrauch ansteigt

Habe ich schon. Naja zu mindest die Richtung. Aktuell habe ich noch einen Kandidaten im Ausschluß.
Aber die Richtung ist da. Es ist meine FHEM Webinstanze in Verbindung mit entweder Check_MK HTTP Check oder/und mein HAProxy. Ich gehe davon aus das der CRFS da eventuell Probleme macht. Aber genau analysieren kann/will ich es nicht.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

hoppel118

Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic | HomeConnect | MQTT | Philips Hue | Sonos | Unifi Network & Protect | vbus | Xiaomi

CoolTux

Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

willib

Bist du bei der vorher beschriebenen Lösung um USB Dongles an den LXC weiterzureichen geblieben?
Ich starte auch gerade mit Proxmox(NUC6CAY, kein Cluster) und das ist meine größte Sorge. Es gibt so viele verschieden Lösungen für den passtrough. Bleiben die dongles bei dir im Zugriff wenn du neu startest oder umsteckst?
FHEM in Debian 10 LXC unter Proxmox auf NUC, Homematic, Hue, Intertechno, Jeelink, RFXTRX, Harmony Hub, VU+ Uno 4K, Sonos, AMAD

CoolTux

Zitat von: willib am 26 September 2019, 16:36:48
Bist du bei der vorher beschriebenen Lösung um USB Dongles an den LXC weiterzureichen geblieben?
Ich starte auch gerade mit Proxmox(NUC6CAY, kein Cluster) und das ist meine größte Sorge. Es gibt so viele verschieden Lösungen für den passtrough. Bleiben die dongles bei dir im Zugriff wenn du neu startest oder umsteckst?

Hallo,

Ich bin bei meiner Lösung geblieben. Tests habe gezeigt das mit der richtigen Konfiguration ich die Dongles abziehen kann, an einer anderen Node anstecken kann und wenn ich dann den Container auf die Node schwenke geht alles.
Wenn ich den Dongle an ein und der selben Node abziehe und wieder anstecke wird er sogar sofort wieder erkannt.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

hoppel118

#54
Moin,

bei mir reift die Idee, so etwas auch zu wollen. :) Proxmox und Ceph Cluster, allerdings mit 3 Nodes.

Momentan bin ich am Überlegen dafür den Intel NUC8I5BEK oder NUC8I5BEH einzusetzen.

Ist möglich mit einem NUC zu starten und wenn damit alles (KVM/LXC) läuft, dann den Cluster zu erstellen und zwei weitere NUCs zu ergänzen?

Dann kann ich erstmal gucken, wie ich mit dem einen NUC zurechtkomme, bevor ich gleich drei davon habe.

Ich müsste doch dann lediglich die HDD so vorbereiten bzw. partitionieren, dass ich später den Ceph Cluster bauen kann.

Zitat von: CoolTux am 30 Mai 2018, 08:51:17
Ceph Partitionenunterstützung nur mit Trick 17
Die folgende Anleitung muß auf jeder Node meines zukünftigen ceph Clusters durchgeführt werden.
Das Ceph von Proxmox unterstützt leider keine Partitionen, hier kann man über das Web Gui lediglich komplette Festplatten angeben. Da ich aber keine weitere Platte anschließen kann und ich nun eine Partition sda4 habe möchte ich diese auch gerne verwenden. Dafür die Vorbereitung mit cfdisk. Weiterhin muß ich nun ein wenig in den Perlcode des Projektes eindringen und kleine Änderungen vornehmen.
Ich editieren die Datei /usr/share/perl5/PVE/API2/Ceph.pm
....

Das es per default nicht möglich ist eine Partition für Ceph zu verwenden, hatte ich mir nun auch schon angelesen.

Wie ist das, wenn PVE ein Update erhält? Kann es dann passieren, dass dann plötzlich nix mehr geht, weil die von dir angepasste Datei dann wieder in den Ursprungszustand versetzt wird? Wenn ja, kann man das irgendwie unterbinden?

Beim Intel NUC8I5BEK hätte ich keinen Platz für eine Extra 2,5" SSD. Da passt lediglich eine M.2 hinein. Ich müsste die M.2 also partitionieren. Oder ich gehe auf Nummer sicher und nehme den NUC8I5BEH. Da passt dann zusätzlich zur M.2 noch eine 2,5" SSD hinein und ich müsste nicht partitionieren. Dafür ist das Gehäuse dann auch nicht mehr so schön schlank und es wird ,,mehr" Strom verbraucht.

Zitat von: CoolTux am 01 Juni 2018, 08:25:52
Habe gestern mal den Zwischenstecker an gebracht. Der Verbrauch lag im Schnitt bei 100W. Sind auf das Jahr gerechnet in Euro um die 300 Euro. Ich kann damit leben.

Hat hier jemand Erfahrungswerte, was so ein NUC verbraucht?

Mein derzeitiger Server verbraucht momentan auch ca. 90W im 24/7 Betrieb. Es wäre schön, wenn ich das mit den NUCs irgendwie reduzieren könnte.

Allerdings habe ich dann noch das Problem, dass in dem Server auch noch eine TV-Karte steckt und TVHeadend damit im ganzen Netz TV-Streams bereitstellt. Was mache ich dann mit der TV-Karte (Digital Devices Max S8 -> bei 16 gleichzeitigen Aufnahmen habe ich aufgehört zu testen)? Die möchte ich schon gern behalten.

Evtl. passt die in den noch nicht erhältlichen neuen NUC9. Der soll wohl ein PCIe Steckplatz für eine zusätzliche Dual Slot Grafikkarte bereitstellen. Ich nehme an, dass dieser dann auch mit anderen PCIe Karten bestückt werden kann. Dann müsste ich nur noch herausfinden, ob die Max S8 vom Größenverhältnis her dort hineinpasst.

In dem Fall würde ich den Cluster also aus einem solchen NUC9 und zwei weiteren NUC8 zusammenstellen.

Zitat von: Phiolin am 13 April 2019, 11:20:18
Bisher habe ich aber nur 2 Nodes, behelfe mir bezüglich des Quorums mit einem Corosync QDevice, sodass ich da keine Probleme mit den Quorum bekomme, wenn mal eine Node weg oder neu gestartet werden muss.

Du hast ja geschrieben, dass du auch nur 1 Netzwerkkarte in jedem System hast, das trifft bei mir auch zu. Ich baue auf Basis von Intel NUCs, so dass da einfach natürlich Limitierungen bei den Schnittstellen sind, wie in wahrscheinlich den meisten Mini-PC Systemen.

Welchen NUC hast du genau im Einsatz? Sind es mittlerweile evtl. schon 3? Wie sieht's mit dem Stromverbrauch aus, kannst du da etwas zu sagen?

Eine Frage noch:

Zitat von: CoolTux am 30 Mai 2018, 08:50:31
Netzwerk design
  • Proxmox Cluster Netzwerk - ist ein Sondernetzwerk nur für die Proxmoxcluster Funktionalität
  • Ceph Stotage Clusternetzwerk - Für das angedachte Ceph Storage Cluster

Warum hast du das in eigene VLANs gepackt?

Ich bin nun am Überlegen ein Management VLAN aufzusetzen, wo ich dann auch den Proxmox und den Ceph Cluster drin betreiben würde. Welche Probleme siehst du da? Ich möchte meine Netzstruktur auch flach halten. Momentan habe ich folgende VLANs:

1. Privat: alle Server, Netzwerkkomponenten und Endgeräte mit Linux, Windows, Android oder Apple OS
2. IOT: der ganze Kram, der irgendwie in der Cloud hängt oder Geräte für die es keine Firmware-Updates mehr gibt
3. Göste

Danke euch und viele Grüße

Hoppel
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic | HomeConnect | MQTT | Philips Hue | Sonos | Unifi Network & Protect | vbus | Xiaomi

CoolTux

Zitat von: hoppel118 am 11 Januar 2020, 22:48:26
Ist möglich mit einem NUC zu starten und wenn damit alles (KVM/LXC) läuft, dann den Cluster zu erstellen und zwei weitere NUCs zu ergänzen?

Ja das sollte ohne Probleme möglich sein. Du kannst das erstmal in Ruhe testen mit einem.
Dann würde ich die anderen beiden erstmal zu einem Cluster verbinden und den ersten hinzufügen.


Zitat von: hoppel118 am 11 Januar 2020, 22:48:26
Das es per default nicht möglich ist eine Partition für Ceph zu verwenden, hatte ich mir nun auch schon angelesen.
Wie ist das, wenn PVE ein Update erhält? Kann es dann passieren, dass dann plötzlich nix mehr geht, weil die von dir angepasste Datei dann wieder in den Ursprungszustand versetzt wird? Wenn ja, kann man das irgendwie unterbinden?

Ab Version 6.0 sollte das nicht mehr nötig die Datei an zu passen. Man kann einfach in der Kommandozeile einen Befehl ausführen
ceph-volume lvm create --data /dev/sdXX

Damit wird dann auch eine Partition für Ceph vorbereitet.

Zitat von: hoppel118 am 11 Januar 2020, 22:48:26
Eine Frage noch:
Warum hast du das in eigene VLANs gepackt?
Ich bin nun am Überlegen ein Management VLAN aufzusetzen, wo ich dann auch den Proxmox und den Ceph Cluster drin betreiben würde. Welche Probleme siehst du da? Ich möchte meine Netzstruktur auch flach halten. Momentan habe ich folgende VLANs:

1. Privat: alle Server, Netzwerkkomponenten und Endgeräte mit Linux, Windows, Android oder Apple OS
2. IOT: der ganze Kram, der irgendwie in der Cloud hängt oder Geräte für die es keine Firmware-Updates mehr gibt
3. Göste
[/quote

Cluster und Ceph habe ich persönlich nur getrennt weil ich mich an die Vorgaben halten wollte. Bei mir bringt das nichts weil ich ja nur eine Netzwerkkarte habe.
Aber generell wird empfohlen Cluster und Ceph über separate Netzwerkkarten mindestens 1GBit an zu schließen. Aber das ging bei mir leider nicht.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

hoppel118

Super, danke für die Infos.

Bin gespannt, wie das dann alles so läuft... Wird aber sicherlich noch etwas dauern bis es bei mir losgeht.

Werde das Release des NUC9 noch abwarten und dann ausschließlich 9er kaufen oder die 8er dann wohl hoffentlich etwas günstiger. ;)

Gruß Hoppel
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic | HomeConnect | MQTT | Philips Hue | Sonos | Unifi Network & Protect | vbus | Xiaomi

kotaro

Hallo,,

ich wollte mal fragen, wie du es geschafft hast, deine USB-Sticks in unpreviligierte Container durchzureichen?
ich habe weiterhin das Problem, das ich Rechte habe, da UID und GID ja 100000 oder so ist, was im Hostsystem keine Berechtigung hat. hast du im Hostsystem berechtigung dafür erstellt? oder wie hast du das gelöst?
ich verzweifle gerade seit 2 Tagen daran....

gloob

Zitat von: kotaro am 31 Januar 2020, 10:25:33
Hallo,,

ich wollte mal fragen, wie du es geschafft hast, deine USB-Sticks in unpreviligierte Container durchzureichen?
ich habe weiterhin das Problem, das ich Rechte habe, da UID und GID ja 100000 oder so ist, was im Hostsystem keine Berechtigung hat. hast du im Hostsystem berechtigung dafür erstellt? oder wie hast du das gelöst?
ich verzweifle gerade seit 2 Tagen daran....

Um was für einen Stick geht es denn? Ich hatte es mal mit einem Conbee versucht und bin mit dem Support zusammen auch nicht zum Ziel gekommen.
Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

kotaro

mein 433MHz-Stick, der auf Arduino-nano basis selbst gebaut ist.

also, grundsätzlich geht Deconz genauso wie der USB,
der Deconz wird unter /dev/ttyAMC0 und der Arduino unter /dev/ttyUSB0 eingebunden.
im Container guckt man nach, uns sieht bei der Rechtevergabe das nobody:nogroup steht (weil im Kontainer alles ab 100000 anfängt, und nicht mit 0 --> daher können Programme im Container (mit der UID 100000 nicht auf das Hostsystem (UID 0) als root zugreifen..

den USB-Sticks würde ich aber gerne diese Berechtigung mittels Config mit auf den Weg geben.