Moin,
ich habe Proxmox PVE9 auf einer neuen NVME-SSD mit 4 TB installiert.
Bei der Installation habe ich den ThinPool (LVM-Thin / pve/data) von standardmäßig 1 TB auf 400 GB reduziert.
Zitatlvremove pve/data
lvcreate -L 400G -ndata pve
lvconvert --type thin-pool --poolmetadatasize 4G pve/data
lvcreate -n cache -V 3.32t pve/data
mkfs.ext4 /dev/pve/cache
Mit dem freien Speicherplatz habe ich ein logisches Volume erstellt, ein Dateisystem darauf angelegt und es unter ,,/mnt/cache" gemountet.
So weit, so gut, alles läuft einwandfrei.
ABER:
Wenn ich nun Daten nach /mnt/cache kopiere, sehe ich in der Benutzeroberfläche, dass der freie Speicherplatz des ,,Thin-Pools" um die gleiche Größe wie bei ,,mnt/cache" schrumpft. :o
Was habe ich falsch gemacht?
Hier noch ein paar Daten:
PVS:
Zitatroot@pve:~# pvs
PV VG Fmt Attr PSize PFree
/dev/nvme0n1p3 pve lvm2 a-- <3.73t 0
LVS
Zitatroot@pve:~# lvs
LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert
cache pve Vwi-aotz-- 3.32t data 3.67
data pve twi-aotz-- 400.00g 39.87 1.77
root pve -wi-ao---- <3.32t
swap pve -wi-ao---- 8.00g
vm-100-disk-0 pve Vwi-aotz-- 2.00g data 55.96
vm-101-disk-0 pve Vwi-aotz-- 12.00g data 33.68
vm-102-disk-0 pve Vwi-aotz-- 2.00g data 55.29
vm-107-disk-0 pve Vwi-aotz-- 8.00g data 43.04
vm-110-disk-0 pve Vwi-aotz-- 11.00g data 94.18
vm-112-disk-0 pve Vwi-aotz-- 820.00m data 42.45
vm-115-disk-0 pve Vwi-aotz-- 11.00g data 94.69
vm-116-disk-0 pve Vwi-aotz-- 8.00g data 26.71
vm-119-disk-0 pve Vwi-aotz-- 2.00g data 83.11
vm-300-disk-0 pve Vwi-a-tz-- 32.00g data 0.00
VGS
Zitatroot@pve:~# vgs
VG #PV #LV #SN Attr VSize VFree
pve 1 14 0 wz--n- <3.73t 0
lsblk
Zitatroot@pve:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
sda 8:0 0 7.3T 0 disk
└─sda1 8:1 0 7.3T 0 part /mnt/8TBSSD
sdb 8:16 0 3.6T 0 disk
└─sdb1 8:17 0 3.6T 0 part /mnt/4TBSATA
nvme0n1 259:0 0 3.7T 0 disk
├─nvme0n1p1 259:1 0 1007K 0 part
├─nvme0n1p2 259:2 0 1G 0 part /boot/efi
└─nvme0n1p3 259:3 0 3.7T 0 part
├─pve-swap 252:0 0 8G 0 lvm [SWAP]
├─pve-root 252:1 0 3.3T 0 lvm /
├─pve-data_tmeta 252:2 0 4G 0 lvm
│ └─pve-data-tpool 252:4 0 400G 0 lvm
│ ├─pve-data 252:5 0 400G 1 lvm
│ ├─pve-cache 252:6 0 3.3T 0 lvm /mnt/cache
│ ├─pve-vm--107--disk--0 252:7 0 8G 0 lvm
│ ├─pve-vm--110--disk--0 252:8 0 11G 0 lvm
│ ├─pve-vm--116--disk--0 252:9 0 8G 0 lvm
│ ├─pve-vm--102--disk--0 252:10 0 2G 0 lvm
│ ├─pve-vm--119--disk--0 252:11 0 2G 0 lvm
│ ├─pve-vm--115--disk--0 252:12 0 11G 0 lvm
│ ├─pve-vm--112--disk--0 252:13 0 820M 0 lvm
│ ├─pve-vm--100--disk--0 252:14 0 2G 0 lvm
│ ├─pve-vm--101--disk--0 252:15 0 12G 0 lvm
│ └─pve-vm--300--disk--0 252:16 0 32G 0 lvm
└─pve-data_tdata 252:3 0 400G 0 lvm
└─pve-data-tpool 252:4 0 400G 0 lvm
├─pve-data 252:5 0 400G 1 lvm
├─pve-cache 252:6 0 3.3T 0 lvm /mnt/cache
├─pve-vm--107--disk--0 252:7 0 8G 0 lvm
├─pve-vm--110--disk--0 252:8 0 11G 0 lvm
├─pve-vm--116--disk--0 252:9 0 8G 0 lvm
├─pve-vm--102--disk--0 252:10 0 2G 0 lvm
├─pve-vm--119--disk--0 252:11 0 2G 0 lvm
├─pve-vm--115--disk--0 252:12 0 11G 0 lvm
├─pve-vm--112--disk--0 252:13 0 820M 0 lvm
├─pve-vm--100--disk--0 252:14 0 2G 0 lvm
├─pve-vm--101--disk--0 252:15 0 12G 0 lvm
└─pve-vm--300--disk--0 252:16 0 32G 0 lvm
df -hT
Zitatroot@pve:~# df -hT
Filesystem Type Size Used Avail Use% Mounted on
udev devtmpfs 7.5G 0 7.5G 0% /dev
tmpfs tmpfs 1.6G 2.8M 1.6G 1% /run
/dev/mapper/pve-root ext4 94G 10G 80G 12% /
tmpfs tmpfs 7.6G 34M 7.5G 1% /dev/shm
efivarfs efivarfs 128K 12K 112K 10% /sys/firmware/efi/efivars
tmpfs tmpfs 5.0M 0 5.0M 0% /run/lock
tmpfs tmpfs 1.0M 0 1.0M 0% /run/credentials/systemd-journald.service
tmpfs tmpfs 7.6G 0 7.6G 0% /tmp
/dev/nvme0n1p2 vfat 1022M 8.8M 1014M 1% /boot/efi
/dev/mapper/pve-cache ext4 3.3T 97G 3.1T 4% /mnt/cache
/dev/sda1 ext4 7.3T 3.6T 3.3T 53% /mnt/8TBSSD
/dev/fuse fuse 128M 36K 128M 1% /etc/pve
/dev/sdb1 ext4 3.6T 3.0T 487G 87% /mnt/4TBSATA
tmpfs tmpfs 1.0M 0 1.0M 0% /run/credentials/getty@tty1.service
tmpfs tmpfs 1.6G 4.0K 1.6G 1% /run/user/0
Zitat von: Bartimaus am 23 Oktober 2025, 22:21:41Zitatlvremove pve/data
lvcreate -L 400G -ndata pve
lvconvert --type thin-pool --poolmetadatasize 4G pve/data
lvcreate -n cache -V 3.32t pve/data
mkfs.ext4 /dev/pve/cache
Ich denke dein Fehler liegt im 4. Kommando. Du erzeugst innerhalb des ThinPools (pve/data) ein LV namens "cache" mit der virtuellen Größe 3.32t.
Du müsstest ein eigenständiges LV erzeugen:
lvcreate -L 3.32t -ncache pve
oder vielleicht besser 100% des freien Speichers
lvcreate -l100%FREE -ncache pve
Edit:
Bei der Größe des root LV (3.3T) in der Partition "nvme0n1p3" (3.7T) wäre wohl nicht genug Platz für ein weiters separates cache LV mit 3.32t. Da sieht so ja quasi schon voll aus.
└─nvme0n1p3 259:3 0 3.7T 0 part
├─pve-swap 252:0 0 8G 0 lvm [SWAP]
├─pve-root 252:1 0 3.3T 0 lvm /
├─pve-data_tmeta 252:2 0 4G 0 lvm
│ └─pve-data-tpool 252:4 0 400G 0 lvm
Moin Ralf,
danke für Deine Analyse. Kommando 4 ist tatsächlich falsch, da hatte ich was missverstanden.
Ok, ich kann jetzt das "LV Cache" innerhalb des ThinPools aushängen und löschen. Da sind jetzt noch keine Daten drauf.
Wenn ich jetzt ein LV unterhalb des "pve-root" anlege, dann müsste es doch passen, oder ?
Bei Deinem Tip mit "lvcreate -l100%FREE -ncache pve" hat das LV aber noch keinen Namen, oder ist die Benamsung in "-ncache pve" ?
Doch "cache".
-n cache
oder
-ncache
Aber ich glaube dein root ist zu groß, da ist nichts/so gut wie nichts übrig.
Ja, leider. Wie bekomme ich das denn reduziert?
Nicht im laufenden System.
Vermutlich setzt du Proxmox am schnellsten neu auf. Da kannst du in die Partitionsgrössen eingreifen.
Da gibt es in der Proxmox Doku Infos zu, weiss auswendig aber nicht genau wo.
Gruß Ralf
War hier schon mal Thema. Da ist auch der Link zur Doku
https://forum.fhem.de/index.php?topic=100024.msg1346945#msg1346945
Zitat von: RalfRog am 24 Oktober 2025, 12:43:49Nicht im laufenden System.
Vermutlich setzt du Proxmox am schnellsten neu auf. Da kannst du in die Partitionsgrössen eingreifen.
Da gibt es in der Proxmox Doku Infos zu, weiss auswendig aber nicht genau wo.
Gruß Ralf
Ja, in dem Thema bin ich auch involviert.
Auf der alten SSD hatte ich das auch so (wie hier) gemacht, und da ist das irgendwie nicht aufgefallen. Irgendwann kam mal ein Hinweis vom System, wo ich einen Befehl ausführen sollte (lvextend oder so), und danach war LVM-THIN plötzlich viel grösser. Ich habe das nicht verstanden, aber es hat funktioniert und somit war alles für mich ok.
Bei der Installation von Proxmox kann man im Setup eine Grösse angeben.
Ich habe eine 4TB-NVME, wobei das jetzt auf 3 Partitionen verteilt ist.
Wenn ich beim Setup jetzt für Proxmox nur 500GB angebe, habe ich 3,5TB frei für eine weitere Partition oder ein logisches Laufwerk ?
Leider kenne ich mich mit den logischen Laufwerken etc. überhaupt nicht aus, und aus der Doku werde ich auch nicht richtig schlau.
Edit:
Habe jetzt erstmal die bisherige NVME mit 1TB wieder eingebaut, damit die Systeme weiterlaufen.
Dort ist PVE-ROOT = 100GB. Das passt. Ich erinnere mich, das ich beim hinundherdoktorn mal einen Extend-Befehl ausgeführt habe, wodurch PVE-Root scheinbar auf Maxsize gesetzt wurde.
Also alles auf 0, PVE auf der 4TB neu installieren, und dann das logische Laufwerk nicht innerhalb von PVE/DATA anlegen, sondern nur in PVE. So denke ich mir das jedenfalls
Ich hab auch nur (fast) die Standardinstallation auf meiner (kleinen) 500 GB disk.
Zitat von: Bartimaus am 24 Oktober 2025, 13:13:28Ich habe eine 4TB-NVME, wobei das jetzt auf 3 Partitionen verteilt ist
Drei Partitionen hast du mindestens
--> sda1 BIOS boot partition
--> sda2 EFI system partition zum Booten (FAT32)
--> sda3 Partition die bei Proxmox für den LVM eingerichtet ist
darin dann die LVs swap, root und der Thin-Pool data
Die Frage ist ja was du erreichen willst. Man könnte das ja (z.B. dein cache) nachträglich als weiteres LV in der VG "pve" einrichten.
Ich habe das auch noch nicht gemacht.
Meine Gedanke wäre daher in den Optionen bei der Installation z.B. mit:
maxroot die Größe des LV root zu bestimmen
swapsize die Größe des LV swap zu bestimmen
maxvz die Größe des Thinpools zu bestimmen
Dann bleibt was übrig um ein weiteres LV anzulegen.
Oder... über den Parameter hdsize könntest du bestimmen wie groß sda3 werden soll. Dann könnte noch eine weitere Partition angelegt werden. Ich glaube @damian hatte aber über Probleme mit der Idee berichtet...
Ich habe jetzt auf meiner 2. Hardware PVE9 neu mit defaultwerten aufgesetzt.
LVE-Thin (pve/data) ist jetzt knapp 3,6TB gross. Das werde ich auf 400GB reduzieren.
Dann lege ich ein weiteres LV auf der 3. Partition an (und nicht innerhalb des Thin-Volumes), und stelle das als normalen Speicher meinen LXCs zur Verfügung.
Maxroot,swapsize etc hatte ich in der SetupGui auch gesehen, wollte es aber erstmal über ein LV versuchen. Habe ja jetzt keine Eile, da mein produktives System wieder läuft.
Zitatroot@pve:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
nvme0n1 259:0 0 3.7T 0 disk
├─nvme0n1p1 259:1 0 1007K 0 part
├─nvme0n1p2 259:2 0 1G 0 part /boot/efi
└─nvme0n1p3 259:3 0 3.7T 0 part
├─pve-swap 252:0 0 8G 0 lvm [SWAP]
├─pve-root 252:1 0 96G 0 lvm /
├─pve-data_tmeta 252:2 0 4G 0 lvm
│ └─pve-data 252:4 0 400G 0 lvm
├─pve-data_tdata 252:3 0 400G 0 lvm
│ └─pve-data 252:4 0 400G 0 lvm
└─pve-cache 252:5 0 3.2T 0 lvm /mnt/cache
Danke Ralf, das war der richtige schubs.
Der Fehler war nur "lvcreate -n cache -V 3.32t pve
/dataMit Deinem Tip: lvcreate -l100%FREE -ncache pve
hat es jetzt sauber funktioniert. Jetzt nur noch den Rest einrichten und Backups zurückspielen.
Was mich etwas wundert ist: wie konnte beim ersten Mail das root LV so groß werden. Das passt ja nicht zu den Defaulteinstellungen.
Zitat von: Bartimaus am 24 Oktober 2025, 14:34:42Ich habe jetzt auf meiner 2. Hardware PVE9 neu mit defaultwerten aufgesetzt
Ist ja jetzt auch nur 96G
Gruß Ralf
Das geht wahrscheinlich auf meine Unkenntnis zurück, pvextend oder so...
PVE9 jetzt bis auf FHEM konfiguriert. Baue die NVME9 gleich in meinen produktiven MiniPC und spiele ein aktuelles FHEM-Backup zurück.
...weil ich gerade bei der Hilfe im Webinterface drüber gestolpert bin.
Auch interessant mal durchzuschauen(V 8.4):
https://<ProxmoxIP>:8006/pve-docs/chapter-sysadmin.html#chapter_lvm (ist bei V9 hoffentlich auch noch so erreichbar)
Danke, ja, funktioniert auch noch unter PVE9.
Habe die NVME umgebaut, und was soll ich sagen, kaum macht mans richtig, funktionierts.
Cache mal befüllt, und LVM-Thin unverändert geblieben.