CEPH Performance MS-A2

General
1

Hallo zusammen,

ich überlege aktuell mir ein Proxmox Cluster mit Ceph zusammenzubauen.

Folgende HW habe ich bisher angedacht:

  • 3x Minisforum A2 mit 8475H (16C/32T)
  • Jeweils 32 GB RAM (Upgrade auf 64 GB RAM wenn es die Preise mal wieder zulassen, aktuell schmerzt das ja doch sehr)
  • Jeweils 1x 512 GB NVME (oder weniger) für Proxmox
  • Jeweils 1x 2 TB NVME für CEPH als OSD

Ja ich weiß dass insgesamt 3 OSDs nicht optimal sind für CEPH, ich denke aber das es die beste Mischung aus Preis-Leistung ist für mein Homelab.

Ich habe ab und zu gehört, dass es Leute gibt, die Proxmox von USB Sticks aus betreiben, das ist aber aufgrund von IO-Performance keine gute Idee, oder? (Hätte den vorteil noch einen NVME Slot frei zu bekommen für die Zukunft und nicht 3 halbwegs teure NVMEs zu kaufen, die “nur” fürs OS sind).

Was mich zum nachdenken gebracht hat ist die Performance von CEPH über die 10 GBit Links des MS-A2. Der MS-01 hätte ja z.B. TB4 über welches 20 GBit möglich wäre, was die NVMEs über CEPH natürlich deutlich attraktiver macht, allerdings stört mich da die Unterteilung zwischen P und E Cores, die ich beim MS-A2 deutlich schöner finde.

Gebt gerne mal euren Senf dazu :slight_smile:

Nachtrag: In den PCIe Slot eine Netzwerkkarte einbauen kam mir auch schon als Idee, ich würde den Slot aber gerne für meine Nvidia Tesla P4 nutzen, dementsprechend fällt das leider raus.

2

Von USB Sticks als Systemplatte halte ich persönlich nichts. Das würde ich auch im Homelab nicht machen.

Grundsätzlich gibt es verschiedene Lösungen, die aber am Ende immer auf die Frage hinaus laufen, was du möchtest.

Einerseits möchtest du ja durchaus ein leistungsfähiges Cluster, auf der anderen Seite sprichst du von Homelab und möchtest eine günstige Lösung.

Ich habe da zwei Gedanken:

  1. Der MS-A2 verfügt über 2 SFP+ Slots. Du könntest mit einem Bond arbeiten und so auf etwa 20 GBit/s kommen. Eventuell brauchst du allerdings neues/ zusätzliches Netzwerk-Equipment.
  2. Abhängig von den Workloads und deren Anforderungen könntest du ggf. einzelne VMs auf einen externen Speicher auslagern und nur die VMs auf lokalem Speicher betreiben, die das auch wirklich brauchen. Das würde natürlich einen externen Speicher und ggf. dessen Redundanzkonzept voraussetzen.