Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign

Begonnen von CoolTux, 30 Mai 2018, 08:50:31

Vorheriges Thema - Nächstes Thema

schka17

Was sind denn das für Tischrechner mit 8x2.1 GHz?


Sent from my iPad using Tapatalk
M: Thinclient x64 Debian | CUL FS20, HMS100WD, HMS100TF, HMS100T, HMS100CO, S300, S555TH | OWServer DS1420, DS18B20, DS2408 | RFXCOM UVN128, THWR800, THGR228N,RTGR328, PCR800 |Jeelink PCA301 EC3000|CUNO+IR|HMLAN|HMUSB|CUL433 Somfy|mySensors|espEasy
S1:Raspberry mit BPM810, Jeelink EC3000

CoolTux

Das sind Dell Optiplex 9020 micro

Die Teile können im Turbo Mode bis zu 3.2GHz.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

schka17

Zitat von: CoolTux am 22 September 2018, 12:01:09
Das sind Dell Optiplex 9020

Die Teile können im Turbo Mode bis zu 3.2GHz.
Danke


Sent from my iPad using Tapatalk
M: Thinclient x64 Debian | CUL FS20, HMS100WD, HMS100TF, HMS100T, HMS100CO, S300, S555TH | OWServer DS1420, DS18B20, DS2408 | RFXCOM UVN128, THWR800, THGR228N,RTGR328, PCR800 |Jeelink PCA301 EC3000|CUNO+IR|HMLAN|HMUSB|CUL433 Somfy|mySensors|espEasy
S1:Raspberry mit BPM810, Jeelink EC3000

CoolTux

Ich habe noch ein wenig was ergänzt und neue Bilder angehangen.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

Phiolin

Mich würde hier mal interessieren, welche Erfahrungen du bezüglich CephFS gemacht hast.

Ich bastle aktuell auch an einem Proxmox Cluster, auf dem auch schon FHEM und 13 andere LXC Container sowie eine VM laufen.
Bisher habe ich aber nur 2 Nodes, behelfe mir bezüglich des Quorums mit einem Corosync QDevice, sodass ich da keine Probleme mit den Quorum bekomme, wenn mal eine Node weg oder neu gestartet werden muss.

Du hast ja geschrieben, dass du auch nur 1 Netzwerkkarte in jedem System hast, das trifft bei mir auch zu. Ich baue auf Basis von Intel NUCs, so dass da einfach natürlich Limitierungen bei den Schnittstellen sind, wie in wahrscheinlich den meisten Mini-PC Systemen.
Daher verwende ich ebenfalls VLANs um zumindest logisch die Dienste im Netzwerk etwas zu trennen.

Die gesamten Daten und Container/VM-Images laufen aktuell ohnehin schon übers Netzwerk, da ich alles auf meinem Synology NAS speichere. Das scheint bisher keine größeren Probleme zu machen, es laufen aber auch nicht wirklich I/O intensive Dienste auf dem Systemen. Man kann so aber natürlich am Synology NAS praktisch nichts mehr machen, da bei Reboots vom NAS dann praktisch das ganze interne Netzwerk hops geht (DNS etc läuft alles in Proxmox LXC Containern)...

Deshalb dachte ich an Ceph um zumindest die Container-Images in ein redundantes System zu verlagern.
Klappt das bei dir gut, oder ergeben sich dadurch, dass sich alle Dienste das 1Gbit-LAN teilen müssen, Performance-Probleme wenn da auch noch das CephFS mit der Synchronisation über die Leitung läuft?

CoolTux

Bisher habe ich da nicht bemerkt. Obwohl schon ordentlich Daten bewegt wurden. Ich habe für den Corosync und den Ceph Cluster aber unterschiedliche VLans.
Wenn alle Notes laufen habe ich keine Ceph Probleme.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

CoolTux

Nach einem Jahr ist es nun vollbracht. Vor zwei Tagen ist meine gesamte Umgebung in die Virtualisierung gezogen. Ich musste mir noch einen einzelnen Access Point besorgen. Habe mir einen von Ubiquiti Networks geholt und bin schwer begeistert.
Ansonsten läuft nun alles soweit. Auch die virtualisierten PfSense Firewalls als Cluster laufen stabil und beinahe unbelastet selbst im extremen Streaming.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

Prof. Dr. Peter Henning

ZitatNach einem Jahr ist es nun vollbracht
Gratuliere - aber, öh, das könnte ich mir nicht leisten.

LG

pah

CoolTux

Die Anschaffung war etwas Preisintensive aber der Betrieb geht. Durchweg 100 Watt für das Switch und die 5 Nodes.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

Prof. Dr. Peter Henning


CoolTux

Ah verstehe. Ja das war in der Tat schon ein bisschen Zeitintensiv. Wobei wenn man sich etwas aus kennt dann geht das. Dokumentation ist alles.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

tux75at

Hallo CoolTux!

Ich virtualisiere auch ein wenig. Mir geht es hauptsächlich um die Wartung. Ein Snapshot ist eventuell schneller zurückgespielt als bei einem Raspi die SD Karte nau geklont. Des weiteren ist mein NUC in einem passiven Gehäuse auf dauer gesehen sogar kühler als der Raspi.

Mit Proxmox und LXC Container habe ich beim USB Passthrough einige Probleme.
Ich hatte auf einer Testumgebung (evtl. die gleiche die jetzt läuft) schon ein USB Passthrough erfolgreich am laufen.
Jetzt habe ich begonnen UI zu schreiben und wollte meine Testumgebung übersiedeln. Leider stehe ich jetzt vor dem Problem, dass ich den Passthrough nicht mehr hinbekomme.

lsusbBus 001 Device 006: ID 0658:0200 Sigma Designs, Inc.
ls -la /dev/ttyA*crw-rw---- 1 root dialout 166, 0 Aug 16 12:42 /dev/ttyACM0

/etc/pve/proxmox/lxc/101.conflxc.cgroup.devices.allow: c 189:* rwm
lxc.mount.entry: /dev/bus/usb/001/002 dev/bus/usb/001/002 none bind,optional,create=file
lxc.cgroup.devices.allow: c 166:* rwm
lxc.mount.entry: /dev/ttyACM0 dev/ttyACM0 none bind,optional,create=file


Passt jetzt nicht so gut zusammen, USB Port hat sich nochmal geändert nachdem ich den Stick abgezogen habe.
ich habe auch die rechte von ttyACM0 auf crw-rw-rw- geändert.

Ich sehe in allen Maschinen mit lsusb den Sigma Designs, Inc. Eintrag. Dieser entspricht dem UZB1.

Ich habe viel gesucht und bin leider nicht fündig geworden. Ausser einen Tippfehler (ttyAMC statt ttyACM), ich hoffe es ist sonst kein Tippfehler mehr vorhanden.

Gruß
   Tux

CoolTux

Zitat von: tux75at am 16 August 2019, 13:07:12
Hallo CoolTux!

Ich virtualisiere auch ein wenig. Mir geht es hauptsächlich um die Wartung. Ein Snapshot ist eventuell schneller zurückgespielt als bei einem Raspi die SD Karte nau geklont. Des weiteren ist mein NUC in einem passiven Gehäuse auf dauer gesehen sogar kühler als der Raspi.

Mit Proxmox und LXC Container habe ich beim USB Passthrough einige Probleme.
Ich hatte auf einer Testumgebung (evtl. die gleiche die jetzt läuft) schon ein USB Passthrough erfolgreich am laufen.
Jetzt habe ich begonnen UI zu schreiben und wollte meine Testumgebung übersiedeln. Leider stehe ich jetzt vor dem Problem, dass ich den Passthrough nicht mehr hinbekomme.

lsusbBus 001 Device 006: ID 0658:0200 Sigma Designs, Inc.
ls -la /dev/ttyA*crw-rw---- 1 root dialout 166, 0 Aug 16 12:42 /dev/ttyACM0

/etc/pve/proxmox/lxc/101.conflxc.cgroup.devices.allow: c 189:* rwm
lxc.mount.entry: /dev/bus/usb/001/002 dev/bus/usb/001/002 none bind,optional,create=file
lxc.cgroup.devices.allow: c 166:* rwm
lxc.mount.entry: /dev/ttyACM0 dev/ttyACM0 none bind,optional,create=file


Passt jetzt nicht so gut zusammen, USB Port hat sich nochmal geändert nachdem ich den Stick abgezogen habe.
ich habe auch die rechte von ttyACM0 auf crw-rw-rw- geändert.

Ich sehe in allen Maschinen mit lsusb den Sigma Designs, Inc. Eintrag. Dieser entspricht dem UZB1.

Ich habe viel gesucht und bin leider nicht fündig geworden. Ausser einen Tippfehler (ttyAMC statt ttyACM), ich hoffe es ist sonst kein Tippfehler mehr vorhanden.

Gruß
   Tux

Hallo,

Mein letztes mal war auch so vor einem Jahr. Ich werde es die Tage aber wieder angehen. Einzig der default für "Unprivileged container" hat sich in der Zeit verändert. Von no auf yes. Wenn Du den Container also neu angelegt hast könnte das die Erklärung sein. Mein letzter Stand war das es bei "Unprivileged container" schwieriger ist. Ob nun nur bei NFS oder auch bei Passthrough muss ich mal schauen die Tage.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

CoolTux

Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net

CoolTux

Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://www.paypal.com/paypalme/MOldenburg
My FHEM Git: https://git.cooltux.net/FHEM/
Das TuxNet Wiki:
https://www.cooltux.net