Wer kennt sich mit Logical Volumes in Proxmox aus ?

Bartimaus · 23 Oktober 2025, 22:21:41

Moin,

ich habe Proxmox PVE9 auf einer neuen NVME-SSD mit 4 TB installiert.
Bei der Installation habe ich den ThinPool (LVM-Thin / pve/data) von standardmäßig 1 TB auf 400 GB reduziert.

Zitatlvremove pve/data
lvcreate -L 400G -ndata pve
lvconvert --type thin-pool --poolmetadatasize 4G pve/data
lvcreate -n cache -V 3.32t pve/data
mkfs.ext4 /dev/pve/cache

Mit dem freien Speicherplatz habe ich ein logisches Volume erstellt, ein Dateisystem darauf angelegt und es unter ,,/mnt/cache" gemountet.
So weit, so gut, alles läuft einwandfrei.

ABER:

Wenn ich nun Daten nach /mnt/cache kopiere, sehe ich in der Benutzeroberfläche, dass der freie Speicherplatz des ,,Thin-Pools" um die gleiche Größe wie bei ,,mnt/cache" schrumpft.

Was habe ich falsch gemacht?

Hier noch ein paar Daten:

PVS:

Zitatroot@pve:~# pvs

PV VG Fmt Attr PSize PFree

/dev/nvme0n1p3 pve lvm2 a-- <3.73t 0

LVS

Zitatroot@pve:~# lvs

LV VG Attr LSize Pool Origin Data% Meta% Move Log Cpy%Sync Convert

cache pve Vwi-aotz-- 3.32t data 3.67

data pve twi-aotz-- 400.00g 39.87 1.77

root pve -wi-ao---- <3.32t

swap pve -wi-ao---- 8.00g

vm-100-disk-0 pve Vwi-aotz-- 2.00g data 55.96

vm-101-disk-0 pve Vwi-aotz-- 12.00g data 33.68

vm-102-disk-0 pve Vwi-aotz-- 2.00g data 55.29

vm-107-disk-0 pve Vwi-aotz-- 8.00g data 43.04

vm-110-disk-0 pve Vwi-aotz-- 11.00g data 94.18

vm-112-disk-0 pve Vwi-aotz-- 820.00m data 42.45

vm-115-disk-0 pve Vwi-aotz-- 11.00g data 94.69

vm-116-disk-0 pve Vwi-aotz-- 8.00g data 26.71

vm-119-disk-0 pve Vwi-aotz-- 2.00g data 83.11

vm-300-disk-0 pve Vwi-a-tz-- 32.00g data 0.00

VGS

Zitatroot@pve:~# vgs

VG #PV #LV #SN Attr VSize VFree

pve 1 14 0 wz--n- <3.73t 0

lsblk

Zitatroot@pve:~# lsblk

NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS

sda 8:0 0 7.3T 0 disk

└─sda1 8:1 0 7.3T 0 part /mnt/8TBSSD

sdb 8:16 0 3.6T 0 disk

└─sdb1 8:17 0 3.6T 0 part /mnt/4TBSATA

nvme0n1 259:0 0 3.7T 0 disk

├─nvme0n1p1 259:1 0 1007K 0 part

├─nvme0n1p2 259:2 0 1G 0 part /boot/efi

└─nvme0n1p3 259:3 0 3.7T 0 part

├─pve-swap 252:0 0 8G 0 lvm [SWAP]

├─pve-root 252:1 0 3.3T 0 lvm /

├─pve-data_tmeta 252:2 0 4G 0 lvm

│ └─pve-data-tpool 252:4 0 400G 0 lvm

│ ├─pve-data 252:5 0 400G 1 lvm

│ ├─pve-cache 252:6 0 3.3T 0 lvm /mnt/cache

│ ├─pve-vm--107--disk--0 252:7 0 8G 0 lvm

│ ├─pve-vm--110--disk--0 252:8 0 11G 0 lvm

│ ├─pve-vm--116--disk--0 252:9 0 8G 0 lvm

│ ├─pve-vm--102--disk--0 252:10 0 2G 0 lvm

│ ├─pve-vm--119--disk--0 252:11 0 2G 0 lvm

│ ├─pve-vm--115--disk--0 252:12 0 11G 0 lvm

│ ├─pve-vm--112--disk--0 252:13 0 820M 0 lvm

│ ├─pve-vm--100--disk--0 252:14 0 2G 0 lvm

│ ├─pve-vm--101--disk--0 252:15 0 12G 0 lvm

│ └─pve-vm--300--disk--0 252:16 0 32G 0 lvm

└─pve-data_tdata 252:3 0 400G 0 lvm

└─pve-data-tpool 252:4 0 400G 0 lvm

├─pve-data 252:5 0 400G 1 lvm

├─pve-cache 252:6 0 3.3T 0 lvm /mnt/cache

├─pve-vm--107--disk--0 252:7 0 8G 0 lvm

├─pve-vm--110--disk--0 252:8 0 11G 0 lvm

├─pve-vm--116--disk--0 252:9 0 8G 0 lvm

├─pve-vm--102--disk--0 252:10 0 2G 0 lvm

├─pve-vm--119--disk--0 252:11 0 2G 0 lvm

├─pve-vm--115--disk--0 252:12 0 11G 0 lvm

├─pve-vm--112--disk--0 252:13 0 820M 0 lvm

├─pve-vm--100--disk--0 252:14 0 2G 0 lvm

├─pve-vm--101--disk--0 252:15 0 12G 0 lvm

└─pve-vm--300--disk--0 252:16 0 32G 0 lvm

df -hT

Zitatroot@pve:~# df -hT

Filesystem Type Size Used Avail Use% Mounted on

udev devtmpfs 7.5G 0 7.5G 0% /dev

tmpfs tmpfs 1.6G 2.8M 1.6G 1% /run

/dev/mapper/pve-root ext4 94G 10G 80G 12% /

tmpfs tmpfs 7.6G 34M 7.5G 1% /dev/shm

efivarfs efivarfs 128K 12K 112K 10% /sys/firmware/efi/efivars

tmpfs tmpfs 5.0M 0 5.0M 0% /run/lock

tmpfs tmpfs 1.0M 0 1.0M 0% /run/credentials/systemd-journald.service

tmpfs tmpfs 7.6G 0 7.6G 0% /tmp

/dev/nvme0n1p2 vfat 1022M 8.8M 1014M 1% /boot/efi

/dev/mapper/pve-cache ext4 3.3T 97G 3.1T 4% /mnt/cache

/dev/sda1 ext4 7.3T 3.6T 3.3T 53% /mnt/8TBSSD

/dev/fuse fuse 128M 36K 128M 1% /etc/pve

/dev/sdb1 ext4 3.6T 3.0T 487G 87% /mnt/4TBSATA

tmpfs tmpfs 1.0M 0 1.0M 0% /run/credentials/getty@tty1.service

tmpfs tmpfs 1.6G 4.0K 1.6G 1% /run/user/0

RalfRog · 23 Oktober 2025, 23:35:44

Zitat von: Bartimaus am 23 Oktober 2025, 22:21:41
Zitatlvremove pve/data
lvcreate -L 400G -ndata pve
lvconvert --type thin-pool --poolmetadatasize 4G pve/data
lvcreate -n cache -V 3.32t pve/data
mkfs.ext4 /dev/pve/cache

Ich denke dein Fehler liegt im 4. Kommando. Du erzeugst innerhalb des ThinPools (pve/data) ein LV namens "cache" mit der virtuellen Größe 3.32t.
Du müsstest ein eigenständiges LV erzeugen:

Code Auswählen

lvcreate -L 3.32t -ncache pve
oder vielleicht besser 100% des freien Speichers
lvcreate  -l100%FREE  -ncache pve

Edit:
Bei der Größe des root LV (3.3T) in der Partition "nvme0n1p3" (3.7T) wäre wohl nicht genug Platz für ein weiters separates cache LV mit 3.32t. Da sieht so ja quasi schon voll aus.

Code Auswählen

└─nvme0n1p3                  259:3    0  3.7T  0 part
  ├─pve-swap                 252:0    0    8G  0 lvm  [SWAP]
  ├─pve-root                 252:1    0  3.3T  0 lvm  /
  ├─pve-data_tmeta           252:2    0    4G  0 lvm
  │ └─pve-data-tpool         252:4    0  400G  0 lvm

Bartimaus · 24 Oktober 2025, 09:40:35

Moin Ralf,

danke für Deine Analyse. Kommando 4 ist tatsächlich falsch, da hatte ich was missverstanden.
Ok, ich kann jetzt das "LV Cache" innerhalb des ThinPools aushängen und löschen. Da sind jetzt noch keine Daten drauf.

Wenn ich jetzt ein LV unterhalb des "pve-root" anlege, dann müsste es doch passen, oder ?
Bei Deinem Tip mit "lvcreate -l100%FREE -ncache pve" hat das LV aber noch keinen Namen, oder ist die Benamsung in "-ncache pve" ?

RalfRog · 24 Oktober 2025, 09:50:32

Doch "cache".

Code Auswählen

-n cache
oder
-ncache

Aber ich glaube dein root ist zu groß, da ist nichts/so gut wie nichts übrig.

Bartimaus · 24 Oktober 2025, 10:55:18

Ja, leider. Wie bekomme ich das denn reduziert?

RalfRog · 24 Oktober 2025, 12:43:49

Nicht im laufenden System.
Vermutlich setzt du Proxmox am schnellsten neu auf. Da kannst du in die Partitionsgrössen eingreifen.
Da gibt es in der Proxmox Doku Infos zu, weiss auswendig aber nicht genau wo.

Gruß Ralf

RalfRog · 24 Oktober 2025, 12:51:21

War hier schon mal Thema. Da ist auch der Link zur Doku
https://forum.fhem.de/index.php?topic=100024.msg1346945#msg1346945

Bartimaus · 24 Oktober 2025, 13:13:28

Zitat von: RalfRog am 24 Oktober 2025, 12:43:49Nicht im laufenden System.
Vermutlich setzt du Proxmox am schnellsten neu auf. Da kannst du in die Partitionsgrössen eingreifen.
Da gibt es in der Proxmox Doku Infos zu, weiss auswendig aber nicht genau wo.

Gruß Ralf

Ja, in dem Thema bin ich auch involviert.

Auf der alten SSD hatte ich das auch so (wie hier) gemacht, und da ist das irgendwie nicht aufgefallen. Irgendwann kam mal ein Hinweis vom System, wo ich einen Befehl ausführen sollte (lvextend oder so), und danach war LVM-THIN plötzlich viel grösser. Ich habe das nicht verstanden, aber es hat funktioniert und somit war alles für mich ok.

Bei der Installation von Proxmox kann man im Setup eine Grösse angeben.

Ich habe eine 4TB-NVME, wobei das jetzt auf 3 Partitionen verteilt ist.

Wenn ich beim Setup jetzt für Proxmox nur 500GB angebe, habe ich 3,5TB frei für eine weitere Partition oder ein logisches Laufwerk ?
Leider kenne ich mich mit den logischen Laufwerken etc. überhaupt nicht aus, und aus der Doku werde ich auch nicht richtig schlau.

Edit:
Habe jetzt erstmal die bisherige NVME mit 1TB wieder eingebaut, damit die Systeme weiterlaufen.

Dort ist PVE-ROOT = 100GB. Das passt. Ich erinnere mich, das ich beim hinundherdoktorn mal einen Extend-Befehl ausgeführt habe, wodurch PVE-Root scheinbar auf Maxsize gesetzt wurde.
Also alles auf 0, PVE auf der 4TB neu installieren, und dann das logische Laufwerk nicht innerhalb von PVE/DATA anlegen, sondern nur in PVE. So denke ich mir das jedenfalls

RalfRog · 24 Oktober 2025, 14:15:05

Ich hab auch nur (fast) die Standardinstallation auf meiner (kleinen) 500 GB disk.

Zitat von: Bartimaus am 24 Oktober 2025, 13:13:28Ich habe eine 4TB-NVME, wobei das jetzt auf 3 Partitionen verteilt ist

Drei Partitionen hast du mindestens
--> sda1 BIOS boot partition
--> sda2 EFI system partition zum Booten (FAT32)
--> sda3 Partition die bei Proxmox für den LVM eingerichtet ist
darin dann die LVs swap, root und der Thin-Pool data

Die Frage ist ja was du erreichen willst. Man könnte das ja (z.B. dein cache) nachträglich als weiteres LV in der VG "pve" einrichten.
Ich habe das auch noch nicht gemacht.

Meine Gedanke wäre daher in den Optionen bei der Installation z.B. mit:
maxroot die Größe des LV root zu bestimmen
swapsize die Größe des LV swap zu bestimmen
maxvz die Größe des Thinpools zu bestimmen

Dann bleibt was übrig um ein weiteres LV anzulegen.

Oder... über den Parameter hdsize könntest du bestimmen wie groß sda3 werden soll. Dann könnte noch eine weitere Partition angelegt werden. Ich glaube @damian hatte aber über Probleme mit der Idee berichtet...

Bartimaus · 24 Oktober 2025, 14:34:42

Ich habe jetzt auf meiner 2. Hardware PVE9 neu mit defaultwerten aufgesetzt.
LVE-Thin (pve/data) ist jetzt knapp 3,6TB gross. Das werde ich auf 400GB reduzieren.

Dann lege ich ein weiteres LV auf der 3. Partition an (und nicht innerhalb des Thin-Volumes), und stelle das als normalen Speicher meinen LXCs zur Verfügung.

Maxroot,swapsize etc hatte ich in der SetupGui auch gesehen, wollte es aber erstmal über ein LV versuchen. Habe ja jetzt keine Eile, da mein produktives System wieder läuft.

Bartimaus · 24 Oktober 2025, 14:55:29

Zitatroot@pve:~# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINTS
nvme0n1 259:0 0 3.7T 0 disk
├─nvme0n1p1 259:1 0 1007K 0 part
├─nvme0n1p2 259:2 0 1G 0 part /boot/efi
└─nvme0n1p3 259:3 0 3.7T 0 part
├─pve-swap 252:0 0 8G 0 lvm [SWAP]
├─pve-root 252:1 0 96G 0 lvm /
├─pve-data_tmeta 252:2 0 4G 0 lvm
│ └─pve-data 252:4 0 400G 0 lvm
├─pve-data_tdata 252:3 0 400G 0 lvm
│ └─pve-data 252:4 0 400G 0 lvm
└─pve-cache 252:5 0 3.2T 0 lvm /mnt/cache

Danke Ralf, das war der richtige schubs.

Der Fehler war nur "lvcreate -n cache -V 3.32t pve/data

Mit Deinem Tip: lvcreate -l100%FREE -ncache pve
hat es jetzt sauber funktioniert. Jetzt nur noch den Rest einrichten und Backups zurückspielen.

RalfRog · 24 Oktober 2025, 15:58:59

Was mich etwas wundert ist: wie konnte beim ersten Mail das root LV so groß werden. Das passt ja nicht zu den Defaulteinstellungen.

Zitat von: Bartimaus am 24 Oktober 2025, 14:34:42Ich habe jetzt auf meiner 2. Hardware PVE9 neu mit defaultwerten aufgesetzt

Ist ja jetzt auch nur 96G

Gruß Ralf

Bartimaus · 24 Oktober 2025, 16:05:58

Das geht wahrscheinlich auf meine Unkenntnis zurück, pvextend oder so...

PVE9 jetzt bis auf FHEM konfiguriert. Baue die NVME9 gleich in meinen produktiven MiniPC und spiele ein aktuelles FHEM-Backup zurück.

RalfRog · 24 Oktober 2025, 16:38:00

...weil ich gerade bei der Hilfe im Webinterface drüber gestolpert bin.

Auch interessant mal durchzuschauen(V 8.4):
https://<ProxmoxIP>:8006/pve-docs/chapter-sysadmin.html#chapter_lvm (ist bei V9 hoffentlich auch noch so erreichbar)

Bartimaus · 24 Oktober 2025, 17:01:17

Danke, ja, funktioniert auch noch unter PVE9.

Habe die NVME umgebaut, und was soll ich sagen, kaum macht mans richtig, funktionierts.
Cache mal befüllt, und LVM-Thin unverändert geblieben.