Autor Thema: Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign  (Gelesen 26254 mal)

Offline schka17

  • Sr. Member
  • ****
  • Beiträge: 866
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #15 am: 22 September 2018, 11:12:11 »
Was sind denn das für Tischrechner mit 8x2.1 GHz?


Sent from my iPad using Tapatalk
M: Thinclient x64 Debian | CUL FS20, HMS100WD, HMS100TF, HMS100T, HMS100CO, S300, S555TH | OWServer DS1420, DS18B20, DS2408 | RFXCOM UVN128, THWR800, THGR228N,RTGR328, PCR800 |Jeelink PCA301 EC3000|CUNO+IR|HMLAN|HMUSB|CUL433 Somfy|mySensors|espEasy
S1:Raspberry mit BPM810, Jeelink EC3000

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #16 am: 22 September 2018, 12:01:09 »
Das sind Dell Optiplex 9020 micro

Die Teile können im Turbo Mode bis zu 3.2GHz.
« Letzte Änderung: 01 Oktober 2018, 11:10:21 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline schka17

  • Sr. Member
  • ****
  • Beiträge: 866
Antw:Projekt 2018: Virtualisierungscluster mit Proxmox und Netzwerk redesign
« Antwort #17 am: 23 September 2018, 02:01:23 »
Das sind Dell Optiplex 9020

Die Teile können im Turbo Mode bis zu 3.2GHz.
Danke


Sent from my iPad using Tapatalk
M: Thinclient x64 Debian | CUL FS20, HMS100WD, HMS100TF, HMS100T, HMS100CO, S300, S555TH | OWServer DS1420, DS18B20, DS2408 | RFXCOM UVN128, THWR800, THGR228N,RTGR328, PCR800 |Jeelink PCA301 EC3000|CUNO+IR|HMLAN|HMUSB|CUL433 Somfy|mySensors|espEasy
S1:Raspberry mit BPM810, Jeelink EC3000

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Ich habe noch ein wenig was ergänzt und neue Bilder angehangen.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Phiolin

  • Full Member
  • ***
  • Beiträge: 214
Mich würde hier mal interessieren, welche Erfahrungen du bezüglich CephFS gemacht hast.

Ich bastle aktuell auch an einem Proxmox Cluster, auf dem auch schon FHEM und 13 andere LXC Container sowie eine VM laufen.
Bisher habe ich aber nur 2 Nodes, behelfe mir bezüglich des Quorums mit einem Corosync QDevice, sodass ich da keine Probleme mit den Quorum bekomme, wenn mal eine Node weg oder neu gestartet werden muss.

Du hast ja geschrieben, dass du auch nur 1 Netzwerkkarte in jedem System hast, das trifft bei mir auch zu. Ich baue auf Basis von Intel NUCs, so dass da einfach natürlich Limitierungen bei den Schnittstellen sind, wie in wahrscheinlich den meisten Mini-PC Systemen.
Daher verwende ich ebenfalls VLANs um zumindest logisch die Dienste im Netzwerk etwas zu trennen.

Die gesamten Daten und Container/VM-Images laufen aktuell ohnehin schon übers Netzwerk, da ich alles auf meinem Synology NAS speichere. Das scheint bisher keine größeren Probleme zu machen, es laufen aber auch nicht wirklich I/O intensive Dienste auf dem Systemen. Man kann so aber natürlich am Synology NAS praktisch nichts mehr machen, da bei Reboots vom NAS dann praktisch das ganze interne Netzwerk hops geht (DNS etc läuft alles in Proxmox LXC Containern)...

Deshalb dachte ich an Ceph um zumindest die Container-Images in ein redundantes System zu verlagern.
Klappt das bei dir gut, oder ergeben sich dadurch, dass sich alle Dienste das 1Gbit-LAN teilen müssen, Performance-Probleme wenn da auch noch das CephFS mit der Synchronisation über die Leitung läuft?

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Bisher habe ich da nicht bemerkt. Obwohl schon ordentlich Daten bewegt wurden. Ich habe für den Corosync und den Ceph Cluster aber unterschiedliche VLans.
Wenn alle Notes laufen habe ich keine Ceph Probleme.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Nach einem Jahr ist es nun vollbracht. Vor zwei Tagen ist meine gesamte Umgebung in die Virtualisierung gezogen. Ich musste mir noch einen einzelnen Access Point besorgen. Habe mir einen von Ubiquiti Networks geholt und bin schwer begeistert.
Ansonsten läuft nun alles soweit. Auch die virtualisierten PfSense Firewalls als Cluster laufen stabil und beinahe unbelastet selbst im extremen Streaming.
« Letzte Änderung: 04 August 2019, 20:13:10 von CoolTux »
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 7299
Zitat
Nach einem Jahr ist es nun vollbracht
Gratuliere - aber, öh, das könnte ich mir nicht leisten.

LG

pah

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Die Anschaffung war etwas Preisintensive aber der Betrieb geht. Durchweg 100 Watt für das Switch und die 5 Nodes.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline Prof. Dr. Peter Henning

  • Developer
  • Hero Member
  • ****
  • Beiträge: 7299
ich meine den Zeitaufwand ...

LG

pah

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Ah verstehe. Ja das war in der Tat schon ein bisschen Zeitintensiv. Wobei wenn man sich etwas aus kennt dann geht das. Dokumentation ist alles.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline tux75at

  • Developer
  • Full Member
  • ****
  • Beiträge: 122
Hallo CoolTux!

Ich virtualisiere auch ein wenig. Mir geht es hauptsächlich um die Wartung. Ein Snapshot ist eventuell schneller zurückgespielt als bei einem Raspi die SD Karte nau geklont. Des weiteren ist mein NUC in einem passiven Gehäuse auf dauer gesehen sogar kühler als der Raspi.

Mit Proxmox und LXC Container habe ich beim USB Passthrough einige Probleme.
Ich hatte auf einer Testumgebung (evtl. die gleiche die jetzt läuft) schon ein USB Passthrough erfolgreich am laufen.
Jetzt habe ich begonnen UI zu schreiben und wollte meine Testumgebung übersiedeln. Leider stehe ich jetzt vor dem Problem, dass ich den Passthrough nicht mehr hinbekomme.

lsusbBus 001 Device 006: ID 0658:0200 Sigma Designs, Inc.ls -la /dev/ttyA*crw-rw---- 1 root dialout 166, 0 Aug 16 12:42 /dev/ttyACM0
/etc/pve/proxmox/lxc/101.conflxc.cgroup.devices.allow: c 189:* rwm
lxc.mount.entry: /dev/bus/usb/001/002 dev/bus/usb/001/002 none bind,optional,create=file
lxc.cgroup.devices.allow: c 166:* rwm
lxc.mount.entry: /dev/ttyACM0 dev/ttyACM0 none bind,optional,create=file

Passt jetzt nicht so gut zusammen, USB Port hat sich nochmal geändert nachdem ich den Stick abgezogen habe.
ich habe auch die rechte von ttyACM0 auf crw-rw-rw- geändert.

Ich sehe in allen Maschinen mit lsusb den Sigma Designs, Inc. Eintrag. Dieser entspricht dem UZB1.

Ich habe viel gesucht und bin leider nicht fündig geworden. Ausser einen Tippfehler (ttyAMC statt ttyACM), ich hoffe es ist sonst kein Tippfehler mehr vorhanden.

Gruß
   Tux

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Hallo CoolTux!

Ich virtualisiere auch ein wenig. Mir geht es hauptsächlich um die Wartung. Ein Snapshot ist eventuell schneller zurückgespielt als bei einem Raspi die SD Karte nau geklont. Des weiteren ist mein NUC in einem passiven Gehäuse auf dauer gesehen sogar kühler als der Raspi.

Mit Proxmox und LXC Container habe ich beim USB Passthrough einige Probleme.
Ich hatte auf einer Testumgebung (evtl. die gleiche die jetzt läuft) schon ein USB Passthrough erfolgreich am laufen.
Jetzt habe ich begonnen UI zu schreiben und wollte meine Testumgebung übersiedeln. Leider stehe ich jetzt vor dem Problem, dass ich den Passthrough nicht mehr hinbekomme.

lsusbBus 001 Device 006: ID 0658:0200 Sigma Designs, Inc.ls -la /dev/ttyA*crw-rw---- 1 root dialout 166, 0 Aug 16 12:42 /dev/ttyACM0
/etc/pve/proxmox/lxc/101.conflxc.cgroup.devices.allow: c 189:* rwm
lxc.mount.entry: /dev/bus/usb/001/002 dev/bus/usb/001/002 none bind,optional,create=file
lxc.cgroup.devices.allow: c 166:* rwm
lxc.mount.entry: /dev/ttyACM0 dev/ttyACM0 none bind,optional,create=file

Passt jetzt nicht so gut zusammen, USB Port hat sich nochmal geändert nachdem ich den Stick abgezogen habe.
ich habe auch die rechte von ttyACM0 auf crw-rw-rw- geändert.

Ich sehe in allen Maschinen mit lsusb den Sigma Designs, Inc. Eintrag. Dieser entspricht dem UZB1.

Ich habe viel gesucht und bin leider nicht fündig geworden. Ausser einen Tippfehler (ttyAMC statt ttyACM), ich hoffe es ist sonst kein Tippfehler mehr vorhanden.

Gruß
   Tux

Hallo,

Mein letztes mal war auch so vor einem Jahr. Ich werde es die Tage aber wieder angehen. Einzig der default für "Unprivileged container" hat sich in der Zeit verändert. Von no auf yes. Wenn Du den Container also neu angelegt hast könnte das die Erklärung sein. Mein letzter Stand war das es bei "Unprivileged container" schwieriger ist. Ob nun nur bei NFS oder auch bei Passthrough muss ich mal schauen die Tage.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Hier das hatte mir damals geholfen


https://forum.proxmox.com/threads/lxc-usb-passthrough-zwave-stick.30058/


Ich teste am WE mal.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net

Offline CoolTux

  • Developer
  • Hero Member
  • ****
  • Beiträge: 25292
Bin fündig geworden

https://forum.proxmox.com/threads/usb-device-in-unprivilegierten-lxc-durchreichen.52985


Ist eben doch was anderes so ein unprivilegierter Container.
Du musst nicht wissen wie es geht! Du musst nur wissen wo es steht, wie es geht.
Support me to buy new test hardware for development: https://paypal.me/pools/c/8gULisr9BT
My FHEM Git: https://git.cooltux.net/FHEM/
Mein Dokuwiki:
https://www.cooltux.net