Autor Thema: Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign  (Gelesen 21692 mal)

Offline ch.eick

  • Full Member
  • ***
  • Beiträge: 482
Hallo CoolTux,

nur mal so zur Motivation :-)
FHEM läuft auch in einer Solaris 11.3 Zone, nachdem man diverse Pakete und Perl Module nachinstalliert hat.
Ich habe von vorn herein meine FHEM Device nach LAN Fähigkeit ausgesucht und somit USB und GPIO HW vermieden.

Gruß
    Christian
FHEM unter Solaris 11.3 nonglobal Zone zum Testen.
RPI2; CUNX; Eltako FSB61NP; 230V zentral verschaltet; SamsungTV H-Serie; DLNARenderer; TV.pl;  Sonos; Vallox; Luxtronik; 2x FB7490; Stromzähler mit DvLIR; wunderground; clever-tanken

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 23400
Ich habe die USB Dongle vorerst an der zweiten FHEM Instanz beim Pi umgezogen. Aber ich denke ich werde den Dongle an den Container binden später. Aber ich musste nun leider schnell handeln weil mein FHEM ständig den Speicher vom Pi auf frass. Warum auch immer. Mal schauen ob es im Container runder läuft.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
FHEM GitHub: https://github.com/fhem/
kein Support für cfg Editierer

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 23400
So ich habe es nun endlich geschafft. Nach sage und schreibe 1,5 Jahren ist mein komplettes FHEM System (2 produktive Instanzen) in die Proxmox Umgebung als LX Container gezogen. Samt RFXtrx und SIGNALduino USB Dongle.
Somit habe ich nun meine große Reise beendet  ;D


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
FHEM GitHub: https://github.com/fhem/
kein Support für cfg Editierer

Offline gloob

  • Hero Member
  • *****
  • Beiträge: 2989
So ich habe es nun endlich geschafft. Nach sage und schreibe 1,5 Jahren ist mein komplettes FHEM System (2 produktive Instanzen) in die Proxmox Umgebung als LX Container gezogen. Samt RFXtrx und SIGNALduino USB Dongle.
Somit habe ich nun meine große Reise beendet  ;D


Grüße

Jetzt musst du nur noch lösen, warum der Speicherverbrauch ansteigt
Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 23400
Jetzt musst du nur noch lösen, warum der Speicherverbrauch ansteigt

Habe ich schon. Naja zu mindest die Richtung. Aktuell habe ich noch einen Kandidaten im Ausschluß.
Aber die Richtung ist da. Es ist meine FHEM Webinstanze in Verbindung mit entweder Check_MK HTTP Check oder/und mein HAProxy. Ich gehe davon aus das der CRFS da eventuell Probleme macht. Aber genau analysieren kann/will ich es nicht.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
FHEM GitHub: https://github.com/fhem/
kein Support für cfg Editierer

Online hoppel118

  • Sr. Member
  • ****
  • Beiträge: 801
Glückwunsch, tolles Projekt! ;)
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 23400
Glückwunsch, tolles Projekt! ;)

Danke Dir
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
FHEM GitHub: https://github.com/fhem/
kein Support für cfg Editierer

Offline willib

  • Full Member
  • ***
  • Beiträge: 346
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #52 am: 26 September 2019, 16:36:48 »
Bist du bei der vorher beschriebenen Lösung um USB Dongles an den LXC weiterzureichen geblieben?
Ich starte auch gerade mit Proxmox(NUC6CAY, kein Cluster) und das ist meine größte Sorge. Es gibt so viele verschieden Lösungen für den passtrough. Bleiben die dongles bei dir im Zugriff wenn du neu startest oder umsteckst?
FHEM in Debian 10 LXC unter Proxmox auf NUC, Homematic, Hue, Intertechno, Jeelink, RFXTRX, Harmony Hub, VU+ Uno 4K, Sonos, AMAD

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 23400
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #53 am: 26 September 2019, 16:44:44 »
Bist du bei der vorher beschriebenen Lösung um USB Dongles an den LXC weiterzureichen geblieben?
Ich starte auch gerade mit Proxmox(NUC6CAY, kein Cluster) und das ist meine größte Sorge. Es gibt so viele verschieden Lösungen für den passtrough. Bleiben die dongles bei dir im Zugriff wenn du neu startest oder umsteckst?

Hallo,

Ich bin bei meiner Lösung geblieben. Tests habe gezeigt das mit der richtigen Konfiguration ich die Dongles abziehen kann, an einer anderen Node anstecken kann und wenn ich dann den Container auf die Node schwenke geht alles.
Wenn ich den Dongle an ein und der selben Node abziehe und wieder anstecke wird er sogar sofort wieder erkannt.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
FHEM GitHub: https://github.com/fhem/
kein Support für cfg Editierer

Online hoppel118

  • Sr. Member
  • ****
  • Beiträge: 801
Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #54 am: 11 Januar 2020, 22:48:26 »
Moin,

bei mir reift die Idee, so etwas auch zu wollen. :) Proxmox und Ceph Cluster, allerdings mit 3 Nodes.

Momentan bin ich am Überlegen dafür den Intel NUC8I5BEK oder NUC8I5BEH einzusetzen.

Ist möglich mit einem NUC zu starten und wenn damit alles (KVM/LXC) läuft, dann den Cluster zu erstellen und zwei weitere NUCs zu ergänzen?

Dann kann ich erstmal gucken, wie ich mit dem einen NUC zurechtkomme, bevor ich gleich drei davon habe.

Ich müsste doch dann lediglich die HDD so vorbereiten bzw. partitionieren, dass ich später den Ceph Cluster bauen kann.

Ceph Partitionenunterstützung nur mit Trick 17
Die folgende Anleitung muß auf jeder Node meines zukünftigen ceph Clusters durchgeführt werden.
Das Ceph von Proxmox unterstützt leider keine Partitionen, hier kann man über das Web Gui lediglich komplette Festplatten angeben. Da ich aber keine weitere Platte anschließen kann und ich nun eine Partition sda4 habe möchte ich diese auch gerne verwenden. Dafür die Vorbereitung mit cfdisk. Weiterhin muß ich nun ein wenig in den Perlcode des Projektes eindringen und kleine Änderungen vornehmen.
Ich editieren die Datei /usr/share/perl5/PVE/API2/Ceph.pm
....

Das es per default nicht möglich ist eine Partition für Ceph zu verwenden, hatte ich mir nun auch schon angelesen.

Wie ist das, wenn PVE ein Update erhält? Kann es dann passieren, dass dann plötzlich nix mehr geht, weil die von dir angepasste Datei dann wieder in den Ursprungszustand versetzt wird? Wenn ja, kann man das irgendwie unterbinden?

Beim Intel NUC8I5BEK hätte ich keinen Platz für eine Extra 2,5“ SSD. Da passt lediglich eine M.2 hinein. Ich müsste die M.2 also partitionieren. Oder ich gehe auf Nummer sicher und nehme den NUC8I5BEH. Da passt dann zusätzlich zur M.2 noch eine 2,5“ SSD hinein und ich müsste nicht partitionieren. Dafür ist das Gehäuse dann auch nicht mehr so schön schlank und es wird „mehr“ Strom verbraucht.

Habe gestern mal den Zwischenstecker an gebracht. Der Verbrauch lag im Schnitt bei 100W. Sind auf das Jahr gerechnet in Euro um die 300 Euro. Ich kann damit leben.

Hat hier jemand Erfahrungswerte, was so ein NUC verbraucht?

Mein derzeitiger Server verbraucht momentan auch ca. 90W im 24/7 Betrieb. Es wäre schön, wenn ich das mit den NUCs irgendwie reduzieren könnte.

Allerdings habe ich dann noch das Problem, dass in dem Server auch noch eine TV-Karte steckt und TVHeadend damit im ganzen Netz TV-Streams bereitstellt. Was mache ich dann mit der TV-Karte (Digital Devices Max S8 -> bei 16 gleichzeitigen Aufnahmen habe ich aufgehört zu testen)? Die möchte ich schon gern behalten.

Evtl. passt die in den noch nicht erhältlichen neuen NUC9. Der soll wohl ein PCIe Steckplatz für eine zusätzliche Dual Slot Grafikkarte bereitstellen. Ich nehme an, dass dieser dann auch mit anderen PCIe Karten bestückt werden kann. Dann müsste ich nur noch herausfinden, ob die Max S8 vom Größenverhältnis her dort hineinpasst.

In dem Fall würde ich den Cluster also aus einem solchen NUC9 und zwei weiteren NUC8 zusammenstellen.

Bisher habe ich aber nur 2 Nodes, behelfe mir bezüglich des Quorums mit einem Corosync QDevice, sodass ich da keine Probleme mit den Quorum bekomme, wenn mal eine Node weg oder neu gestartet werden muss.

Du hast ja geschrieben, dass du auch nur 1 Netzwerkkarte in jedem System hast, das trifft bei mir auch zu. Ich baue auf Basis von Intel NUCs, so dass da einfach natürlich Limitierungen bei den Schnittstellen sind, wie in wahrscheinlich den meisten Mini-PC Systemen.

Welchen NUC hast du genau im Einsatz? Sind es mittlerweile evtl. schon 3? Wie sieht’s mit dem Stromverbrauch aus, kannst du da etwas zu sagen?

Eine Frage noch:

Netzwerk design
  • Proxmox Cluster Netzwerk - ist ein Sondernetzwerk nur für die Proxmoxcluster Funktionalität
  • Ceph Stotage Clusternetzwerk - Für das angedachte Ceph Storage Cluster

Warum hast du das in eigene VLANs gepackt?

Ich bin nun am Überlegen ein Management VLAN aufzusetzen, wo ich dann auch den Proxmox und den Ceph Cluster drin betreiben würde. Welche Probleme siehst du da? Ich möchte meine Netzstruktur auch flach halten. Momentan habe ich folgende VLANs:

1. Privat: alle Server, Netzwerkkomponenten und Endgeräte mit Linux, Windows, Android oder Apple OS
2. IOT: der ganze Kram, der irgendwie in der Cloud hängt oder Geräte für die es keine Firmware-Updates mehr gibt
3. Göste

Danke euch und viele Grüße

Hoppel
« Letzte Änderung: 11 Januar 2020, 23:01:06 von hoppel118 »
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 23400
Ist möglich mit einem NUC zu starten und wenn damit alles (KVM/LXC) läuft, dann den Cluster zu erstellen und zwei weitere NUCs zu ergänzen?

Ja das sollte ohne Probleme möglich sein. Du kannst das erstmal in Ruhe testen mit einem.
Dann würde ich die anderen beiden erstmal zu einem Cluster verbinden und den ersten hinzufügen.


Das es per default nicht möglich ist eine Partition für Ceph zu verwenden, hatte ich mir nun auch schon angelesen.
Wie ist das, wenn PVE ein Update erhält? Kann es dann passieren, dass dann plötzlich nix mehr geht, weil die von dir angepasste Datei dann wieder in den Ursprungszustand versetzt wird? Wenn ja, kann man das irgendwie unterbinden?

Ab Version 6.0 sollte das nicht mehr nötig die Datei an zu passen. Man kann einfach in der Kommandozeile einen Befehl ausführen
ceph-volume lvm create --data /dev/sdXX
Damit wird dann auch eine Partition für Ceph vorbereitet.

Eine Frage noch:
Warum hast du das in eigene VLANs gepackt?
Ich bin nun am Überlegen ein Management VLAN aufzusetzen, wo ich dann auch den Proxmox und den Ceph Cluster drin betreiben würde. Welche Probleme siehst du da? Ich möchte meine Netzstruktur auch flach halten. Momentan habe ich folgende VLANs:

1. Privat: alle Server, Netzwerkkomponenten und Endgeräte mit Linux, Windows, Android oder Apple OS
2. IOT: der ganze Kram, der irgendwie in der Cloud hängt oder Geräte für die es keine Firmware-Updates mehr gibt
3. Göste
[/quote

Cluster und Ceph habe ich persönlich nur getrennt weil ich mich an die Vorgaben halten wollte. Bei mir bringt das nichts weil ich ja nur eine Netzwerkkarte habe.
Aber generell wird empfohlen Cluster und Ceph über separate Netzwerkkarten mindestens 1GBit an zu schließen. Aber das ging bei mir leider nicht.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
FHEM GitHub: https://github.com/fhem/
kein Support für cfg Editierer

Online hoppel118

  • Sr. Member
  • ****
  • Beiträge: 801
Super, danke für die Infos.

Bin gespannt, wie das dann alles so läuft... Wird aber sicherlich noch etwas dauern bis es bei mir losgeht.

Werde das Release des NUC9 noch abwarten und dann ausschließlich 9er kaufen oder die 8er dann wohl hoffentlich etwas günstiger. ;)

Gruß Hoppel
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic: VCCU 2xHMUSB, 1xWLGW | HomeConnect | Philips Hue | Sonos: Beam, Sub, One, Symfonisk | Unifi: USG, USW, AC-AP-Pro | Xiaomi: S50, Smart Fan | vbus: Vitosolic 200SD4
Informativ Informativ x 1 Liste anzeigen