Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign

Begonnen von CoolTux, 30 Mai 2018, 08:50:31

Vorheriges Thema - Nächstes Thema

tux75at

Danke!

Das hab ich alles gefunden und alles angeschaut. Meine Lösung war etwas brachial.
Ich hab Proxmox 6.0 gesaugt, alles gekübelt und meinen Nuc neu aufgesetzt.

Dann hab ich ein neues fhem installiert, backup drauf und genau das gleiche nochmal gemacht.
Das Ergebnis war ein anderes. Diesmal ging es.

Jetzt hab ich mein Testsystem von Raspi mit meinem LCARS System vom Nuc (ohne HW) gemerged und es geht immer noch. Bis auf mein Problem mit dem Dimmer, der Status ist nicht "on" und "off", statt on gibt es dem Dim Faktor ... aber das ist ein anderes Problem.....

Das wichtige ist, Proxmox geht, und für Mutige die neue Version funktioniert bei mir auch schon.

CoolTux

Ich habe vor 3 Wochen das Update auf 6 gemacht. Samt Cluster und CEPH. Die Anleitung war ein Traum und alles lief super
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

hoppel118

#32
Zunächst erstmal mein Respekt, tolles Projekt! ;)

Zitat von: CoolTux am 04 August 2019, 20:14:11
Die Anschaffung war etwas Preisintensive aber der Betrieb geht. Durchweg 100 Watt für das Switch und die 5 Nodes.

Hängen die 5 Nodes jetzt etwa alle an einem Switch? Warum eigentlich 5 Nodes? Irgendwie wäre ich bei so einem Clusterverbund wohl bei 4 oder 6 gelandet. Obwohl mir persönlich mehr als 2 Nodes für zu Hause zu krass wären. ;)

VLANs habe ich hier auch schon lange in Betrieb. Mit Multicast-Problemen hatte ich hier auch zu kämpfen. Habe mittlerweile mehrere APs, Switche und auch Security Gateway von Ubiquiti Unifi im Einsatz. Das läuft jetzt alles sehr stabil.

Zitat von: CoolTux am 16 August 2019, 19:30:03
Ich habe vor 3 Wochen das Update auf 6 gemacht. Samt Cluster und CEPH. Die Anleitung war ein Traum und alles lief super

Toll, dass das so reibungslos gelaufen ist. Hast du auch FHEM schon unter Buster in Betrieb? Läuft dein FHEM in KVM oder LXC?

Viele Grüße Hoppel
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic | HomeConnect | MQTT | Philips Hue | Sonos | Unifi Network & Protect | vbus | Xiaomi

CoolTux

Zitat von: hoppel118 am 17 August 2019, 00:05:27
Zunächst erstmal mein Respekt, tolles Projekt! ;)

Hängen die 5 Nodes jetzt etwa alle an einem Switch? Warum eigentlich 5 Nodes? Irgendwie wäre ich bei so einem Clusterverbund wohl bei 4 oder 6 gelandet. Obwohl mir persönlich mehr als 2 Nodes für zu Hause zu krass wären. ;)

Guten Morgen,

Ja die 5 Nodes hängen alle an einem 16 Port Gigabit Switch. Damit der Cluster ein Quorum erfüllt für HA muss die Anzahl immer Ungrade sein. Ab 3 Nodes kannst Du also HA machen. Die 5 habe ich günstig im Set bekommen so zu sagen. Naja eigentlich waren es erst 4 und dann habe ich noch einen 5. dazu bekommen.



Zitat von: hoppel118 am 17 August 2019, 00:05:27
VLANs habe ich hier auch schon lange in Betrieb. Mit Multicast-Problemen hatte ich hier auch zu kämpfen. Habe mittlerweile mehrere APs, Switche und auch Security Gateway von Ubiquiti Unifi im Einsatz. Das läuft jetzt alles sehr stabil.

Toll, dass das so reibungslos gelaufen ist. Hast du auch FHEM schon unter Buster in Betrieb? Läuft dein FHEM in KVM oder LXC?

Viele Grüße Hoppel

Ich habe noch keinen Buster Container. Und ein Update des Stretch Containers auf Buster ist wohl aktuell noch nicht so ganz einfach möglich. Hatte da erst letztes was im Proxmox Forum zu gelesen. Aber es geht ja auch mit Version 9.9.
Meine Entwicklungs und Test Instanzen laufen alle im Container und aktuell bereite ich den Umzug der configDB von mysql lokal auf dem Pi auf postgresql auf einem eigenen PostgreSQL Container vor. Ich habe bereits erfolgreich 2 Testmigrationen absolviert und denke das ich die Tage dann ganz schwenken kann. Danach kann ich dann die FHEM Funktionalität vom Pi auf den schon vorhandenen FHEM Container schwenken.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

CoolTux

Ich habe soeben den Schwenk gemacht von lokaler mysql DB auf eine PostgreSQL im Container. Die Daten umziehen war einfach, musste nur einen zweiten mysql Server zur Migration auf setzen. Hat auch alles soweit geklappt. Leider scheint sich bei meiner DB vom fhem01 ein Fehler eingeschlichen zu haben. Bei einigen Räumen stimmen die Umlaute nicht mehr. Sind jetzt Sonderzeichen. Aber nicht bei allen, So bei 4 von 7 würde ich sagen.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

hoppel118

#35
Hast du dich mit utf8 schon auseinandergesetzt? Was ist in dem Container konfiguriert?

Ich meine sowas hier: https://www.domain-frage.de/locales-konfigurieren-linux-umlaute-richtig-darstellen/

Stecke da aber nicht so drin, wie das mit SQL/FHEM überhaupt zusammen spielt. Hatte das Problem früher mal mit Putty und irgendwann auch im EPG meines früheren VDR Servers. Das hing beide Male mit utf8 zusammen.

Gruß Hoppel
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic | HomeConnect | MQTT | Philips Hue | Sonos | Unifi Network & Protect | vbus | Xiaomi

hoppel118

Zitat von: CoolTux am 17 August 2019, 08:30:58
Ja die 5 Nodes hängen alle an einem 16 Port Gigabit Switch.

Wenn der ausfällt geht nichts mehr. Willst du da auch noch ran? Oder reicht es dir, wenn die Daten und Container doppelt/dreifach/fünffach verteilt sind?

Zitat von: CoolTux am 17 August 2019, 08:30:58
Damit der Cluster ein Quorum erfüllt für HA muss die Anzahl immer Ungrade sein. Ab 3 Nodes kannst Du also HA machen. Die 5 habe ich günstig im Set bekommen so zu sagen. Naja eigentlich waren es erst 4 und dann habe ich noch einen 5. dazu bekommen.

Ok, danke für die Erleuchtung. Tatsächlich habe ich schonmal mit dem Gedanken gespielt etwas ähnliches hochzuziehen. Allerdings wollte ich es auf Basis von Intel NUCs machen. Hatte mich da aber noch nie wirklich mit beschäftigt. Bisher dachte, dass ich mit zwei NUCs auskomme.

Zitat von: CoolTux am 17 August 2019, 08:30:58
Ich habe noch keinen Buster Container. Und ein Update des Stretch Containers auf Buster ist wohl aktuell noch nicht so ganz einfach möglich. Hatte da erst letztes was im Proxmox Forum zu gelesen. Aber es geht ja auch mit Version 9.9.

Jo, momentan läuft unter Stretch alles 1a. Hätte ja sein können, dass FHEM auch schon unter Buster am Laufen hast. :)

Zitat von: CoolTux am 17 August 2019, 08:30:58
Meine Entwicklungs und Test Instanzen laufen alle im Container und aktuell bereite ich den Umzug der configDB von mysql lokal auf dem Pi auf postgresql auf einem eigenen PostgreSQL Container vor. Ich habe bereits erfolgreich 2 Testmigrationen absolviert und denke das ich die Tage dann ganz schwenken kann. Danach kann ich dann die FHEM Funktionalität vom Pi auf den schon vorhandenen FHEM Container schwenken.

Das ist alles hochgradig spannend. Halte uns bitte auf dem Laufenden.

Viele Grüße Hoppel
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic | HomeConnect | MQTT | Philips Hue | Sonos | Unifi Network & Protect | vbus | Xiaomi

CoolTux

Zitat von: hoppel118 am 17 August 2019, 21:34:20
Hast du dich mit utf8 schon auseinandergesetzt? Was ist in dem Container konfiguriert?

Ich meine sowas hier: https://www.domain-frage.de/locales-konfigurieren-linux-umlaute-richtig-darstellen/

Stecke da aber nicht so drin, wie das mit SQL/FHEM überhaupt zusammen spielt. Hatte das Problem früher mal mit Putty und irgendwann auch im EPG meines früheren VDR Servers. Das hing beide Male mit utf8 zusammen.

Gruß Hoppel

Das mit UTF-8 denke ich ist alles ok. Die DB der einen FHEM Instanz läuft ja rund, nur die zweite nicht. Ich denke aber es liegt an der ausgangs DB. Die eine was nicht läuft war meine erste erstellte configDB und die zweite kam dann bei weitem später.



Zitat von: hoppel118 am 17 August 2019, 21:49:53
Wenn der ausfällt geht nichts mehr. Willst du da auch noch ran? Oder reicht es dir, wenn die Daten und Container doppelt/dreifach/fünffach verteilt sind?

Ok, danke für die Erleuchtung. Tatsächlich habe ich schonmal mit dem Gedanken gespielt etwas ähnliches hochzuziehen. Allerdings wollte ich es auf Basis von Intel NUCs machen. Hatte mich da aber noch nie wirklich mit beschäftigt. Bisher dachte, dass ich mit zwei NUCs auskomme.

Jo, momentan läuft unter Stretch alles 1a. Hätte ja sein können, dass FHEM auch schon unter Buster am Laufen hast. :)

Das ist alles hochgradig spannend. Halte uns bitte auf dem Laufenden.

Viele Grüße Hoppel


Was das Thema Switch an geht so werde ich mir noch einen zweiten Vorkonfigurierten hinlegen. Wenn der eine aus fällt stecke ich den anderen einfach dran.
Ich werde weiter berichten.


Grüße
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

tux75at

Zitat von: hoppel118 am 17 August 2019, 21:49:53
Jo, momentan läuft unter Stretch alles 1a. Hätte ja sein können, dass FHEM auch schon unter Buster am Laufen hast. :)

Ich hab FHEM aufgrund einer Neuinstallation am NUC, virtualisiert unter Proxmox 6.0 lxt container, auf Debian 10 (Buster) am laufen.

Bisher kein Anzeichen eines Problems. Da es ein Testsystem ist, auf dem ich meine UI entwickle (natürlich LCARS :))  habe ich hier mehr Geduld als bei einem System welches im täglichen Einsatz ist.

Gruß
   Tux

gloob

Raspberry Pi 3 | miniCUL 433MHz | nanoCUL 868 MHz | nanoCUL 433 MHz | MySensors WLAN Gateway | LaCrosse WLAN Gateway | SignalESP 433 MHz | SignalESP 868 MHz | HM-MOD-UART WLAN Gateway | IR - 360 Grad WLAN Gateway

hoppel118

Zitat von: tux75at am 18 August 2019, 08:58:05
Ich hab FHEM aufgrund einer Neuinstallation am NUC, virtualisiert unter Proxmox 6.0 lxt container, auf Debian 10 (Buster) am laufen.

Bisher kein Anzeichen eines Problems. Da es ein Testsystem ist, auf dem ich meine UI entwickle (natürlich LCARS :))  habe ich hier mehr Geduld als bei einem System welches im täglichen Einsatz ist.

Ok, gut zu wissen. Interessant wäre nun, welche Module du im Einsatz hast. plain FHEM wird wahrscheinlich laufen, aber so Sachen wie yowsup, alexa, homebridge und die ganzen Perl Pakete, die man für irgendwelche FHEM Module benötigt, bereiten mir da schon etwas Kopfzerbrechen. Naja, kommt Zeit, kommt Rat. Irgendwann werde ich einfach mal die Umstellung versuchen. Irgendwie ist das hier aber offtopic. ;)

Zitat von: gloob am 18 August 2019, 09:55:07
Nutzt jemand von euch Conbee mit einem Proxmox Cotainer?

Wie macht ,,ihr" Proxmox Nutzer das überhaupt? Nutzt ihr noch irgendwelche USB-Interfaces per USB Passthrough? Oder ist das alles so entkoppelt, dass die Interfaces bei euch alle per IP erreichbar sind.

Ich habe hier bspw. für meinen Homematic-Kram zwei HM-USB direkt mit jeweils 5m Kabeln an meinem Server angeschlossen. Zusätzlich kann ich noch einen einen HM-UART mit WLAN per IP ansprechen.
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic | HomeConnect | MQTT | Philips Hue | Sonos | Unifi Network & Protect | vbus | Xiaomi

CoolTux

Ich will meinen signalduino dem nächst an schließen. Ich hatte das zu Testzwecken letztes Jahr schon mal gemacht und hat super funktioniert. HA geht dann natürlich nicht mehr aber damit muss ich leben.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

hoppel118

#42
Sorry, jetzt kann ich dir gerade nicht folgen. Mit Signalduino habe ich mich nie beschäftigt. Wie wird das angeschlossen? Wofür nutzt du das? Und warum geht HA dann nicht mehr?

Mein Verständnis ist, dass HA nicht funktioniert, sobald USB-Schnittstellen involviert sind. Ist das richtig? Wie wäre, es wenn man an jeder Node dieselben USB-Schnittstellen anschließt, geht HA dann?

Wie funktioniert dieses Proxmox HA Konzept überhaupt? Wie die Last in irgendeiner Form verteilt oder ist einer der Master und wenn der ausfällt, übernimmt eine andere Node?

@CoolTux Dieser Thread wird sich vrsl. zu einem Referenz-Thread entwickeln. Ich gehe davon aus, dass das auch dein Ansinnen war.  Ich hoffe, dass diese Fragen somit für dich in diesem Thread ok sind? :)

Viele Grüße
Server: Openmediavault, XEON E3-1240L-v5, Supermicro X11SSH-CTF, 64GB ECC RAM, SSD, RAID-Z2
Homebridge | Alexa | Yowsup
Homematic | HomeConnect | MQTT | Philips Hue | Sonos | Unifi Network & Protect | vbus | Xiaomi

CoolTux

Zitat von: hoppel118 am 18 August 2019, 13:00:20
Sorry, jetzt kann ich dir gerade nicht folgen. Mit Signalduino habe ich mich nie beschäftigt. Wie wird das angeschlossen? Wofür nutzt du das? Und warum geht HA dann nicht mehr?

Mein Verständnis ist, dass HA nicht funktioniert, sobald USB-Schnittstellen involviert sind. Ist das richtig? Wie wäre, es wenn man an jeder Node dieselben USB-Schnittstellen anschließt, geht HA dann?

Wie funktioniert dieses Proxmox HA Konzept überhaupt? Wie die Last in irgendeiner Form verteilt oder ist einer der Master und wenn der ausfällt, übernimmt eine andere Node?

@CoolTux Dieser Thread wird sich vrsl. zu einem Referenz-Thread entwickeln. Ich gehe davon aus, dass das auch dein Ansinnen war.  Ich hoffe, dass diese Fragen somit für dich in diesem Thread ok sind? :)

Viele Grüße

Habe kein Problem mit den Fragen.
Mein Signalduino ist ein USB Stick. Es geht also um USB Passthrough. Man kann das nur an einem Knoten anschließen und musste wenn dann von Hand umstecken.

HA bedeutet das wenn eine Node ausfällt die VM oder der Container auf der anderen weiterlaufen. Wobei man bei Containern leider keine online Migration machen kann. Also nicht ganz HA.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

CoolTux

Ich bin soeben erfolgreich mit meinem ersten FHEM Server in einen Proxmox Container gezogen. Allerdings ohne lokale Hardware. Das teste ich zu einem späteren Zeitpunkt.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net