Proxmox VE og PBS på brukte kontormaskiner: to feller og et CMOS-batteri

5 min lesetid

Broadcom kuttet VMware-porteføljen fra over 160 enkeltprodukter til noen få abonnementspakker. Frittstående vSAN og NSX finnes ikke lenger. De som fornyet i 2024 møter nå andre runde, og en stor bølge kontrakter løper ut tidlig i 2027. Prisene som rapporteres ligger på to til ti ganger gammelt nivå.

For et verksted med tre til fem virtuelle maskiner er regnestykket kort. Her er notatene fra et oppsett med Proxmox VE og Proxmox Backup Server, bygget på maskinvare som allerede sto i bygget, og de to feilene som kostet mest tid.

Maskinvaren: verten ble den eldste maskinen

Utgangspunktet var tre avskrevne kontormaskiner. Valget falt på den eldste prosessoren, en i7-7700 med fire kjerner, av to grunner.

  • Den nyere maskinen har hardt tak på 32 GB RAM og mangler VT-d. BIOS er OEM-låst, så det finnes ingen vei rundt.
  • Arbeidslasten er filområde mot maskinstyringer pluss en databaseserver, altså I/O-arbeid som fire kjerner klarer.

Den tredje grunnen kom underveis: SQL Server Standard lisensieres per virtuelle kjerne. En liten vert gir lavere lisenskostnad, og den kostnaden løper hvert år.

Diskene ble satt opp som to speil: to SSD-er for system og VM-disker, to 4 TB NAS-disker for data. Backupserveren fikk en gammel systemdisk og en 10 TB overvåkningsdisk som datastore.

NAS-en som sto der fra før, har ikke sjekksummer

Bedriften hadde en to-brønners NAS fra før. Den modellen kan bare ext4, ikke btrfs. Uten sjekksummer på filsystemnivå oppdager du ikke stille bitråte. Du oppdager at en fil er ødelagt den dagen du trenger den, og da er backupen antagelig ødelagt like lenge. ZFS på verten har sjekksummer på alle blokker.

Backupjobben

Alle virtuelle maskiner og containere tas hver natt med zstd-komprimering og denne oppbevaringen:

keep-daily 7
keep-weekly 4
keep-monthly 6
Jobben ble kontrollert mot kjøringene i datastoren: åtte fullførte backups, siste natt uten feil, 0,72 prosent av 9,7 TB i bruk. Deduplisering på blokknivå gjør at åtte fulle sikkerhetskopier av de samme gjestene tar omtrent like mye plass som én.

Backupserveren har en egen bruker med kun rettigheten DatastoreBackup. Verten kan skrive nye backups, men kan ikke slette gamle. Blir verten kompromittert, står historikken igjen.

Diagram: Proxmox VE-vert med to ZFS-speil sender nattlig backup til en Proxmox Backup Server med 9,7 TB datastore, som igjen kopieres til en rotasjonsdisk ut av bygget. Egen boks viser påkrevde BIOS-innstillinger.
Vert, backupserver og rotasjonsdisk. BIOS-boksen nederst til venstre er den delen folk glemmer.

Felle 1: UEFI booter ikke fra ISO uten tastetrykk

En virtuell maskin sto i status running i to og en halv time uten å installere noe.

diskwrite: 0
diskread: 3799040
mem: 113602560
Null byte skrevet, 3,8 MB lest. OVMF viser «Press any key to boot from CD or DVD» i omtrent fem sekunder og faller til UEFI Shell hvis ingen trykker. Det kommer ingen feilmelding. Statuskommandoen sier fortsatt running, og alt ser ut som en normal installasjon.

Fiksen er å sende tastetrykk rett etter start:

qm stop 201; sleep 3; qm start 201
for i in $(seq 1 30); do qm sendkey 201 ret 2>/dev/null; sleep 1; done
Diagnosen: mål diskwrite to ganger med 25 sekunders mellomrom. Står tallet stille, kjører ingen installasjon, uansett hva statusen sier. Det gjelder hver gang en gjest skal boote fra ISO, også ved reinstallasjon og recovery.

Felle 2: QEMU reserverer maxmem, ikke ballongverdien

kvm: cannot set up guest memory 'pc.ram': Cannot allocate memory
En gjest med balloon: 8192 og memory: 16384 starter ikke på en vert med 15,8 GB fri RAM. Ballongen gir minne tilbake til verten etter at gjesten har startet. Den reduserer ikke det QEMU må allokere ved oppstart.

Det er memory som må være mindre enn fri RAM på verten. På en database som ikke skal dele minne med noe annet, slår du ballongen helt av.

Svakt CMOS-batteri slo av VT-x

Verten nektet å starte noen gjest. /dev/kvm fantes ikke. Virtualisering var slått av i BIOS, og ingen hadde slått den av.

Hovedkortet er fra 2017. CR2032-batteriet var så svakt at BIOS mistet innstillingene ved et strømbrudd, og standardverdien for Intel VT-x på det kortet er «disabled». Symptomet var at ingenting virket etter strømstans, og feilen kunne ikke rettes uten skjerm og tastatur på stedet. Batteriet kostet tjue kroner.

På en gjenbruksvert bytter du batteriet før du gjør noe annet.

Strømbruddstesten

Gjestene ble stengt pent, og strømmen ble tatt i omtrent tjue sekunder. Tre BIOS-verdier avgjør om verten kommer opp av seg selv:

Restore AC Power Loss = Power On
Intel Virtualization Technology = Enabled
VT-d = Enabled
Verten startet selv, BIOS beholdt alle tre verdiene, begge ZFS-poolene kom opp som ONLINE uten feil, og gjestene autostartet i riktig rekkefølge. Backupserveren startet også selv og svarte på port 8007 etter omtrent førti sekunder, med datastoren intakt.

Etter RAM-utvidelsen tok første oppstart omtrent elleve minutter med svart skjerm. Det er minnetrening. Ikke begynn å feilsøke før tiden er gått, og ikke ta strømmen midt i den.

Rekkefølgen jeg ville brukt neste gang

  1. Bytt CMOS-batteriet før du installerer noe.
  2. Sett BIOS-verdiene, og skriv dem ned et sted som overlever deg.
  3. Bygg speil, ikke enkeltdisker. Gjenbrukte disker har driftstimer du ikke kjenner.
  4. Sett opp backupjobben før den første gjesten er ferdig konfigurert.
  5. Ta strømmen med vilje, mens du fortsatt står ved siden av maskinen.

Punkt fem tar fem minutter og er den eneste testen i lista som kan stryke.

Flere innlegg