Proxmox SDN mit OPNsense VXLAN verbinden

Firewalls / Router OPNsense
1

hat schon mal jemand das Proxmox SDN/VXLAN mit dem von OPNsense verbunden?

Welche Einstellungen wären dafür notwendig?

Hintergrund ist, das ich bei Hetzner in der Cloud eine OPNsense VM laufen habe und mit bei Hetzner drei dedicate Server zusätzlich laufen. Diese sind per SDN miteinander verbunden über einen vSwitch.

2

Moin, man kann das zwar machen (wenn Hetzner es nicht blockt) aber zu empfehlen ist es nicht. Wenn du ein neues VXLAN-Vnet auf dem Proxmox anlegst, wird es ja nicht automatisch auch auf der OPNsense angelegt.

3

ich habe nur ein vxlan.

4

Achso ok, aber dann kannst das ja auch per vSwitch durchreichen indem du das VLAN vom vSwitch an die Bridge des VXLANs hängst

5

In OPNsense habe ich folgende Optionen für das VXLAN:

VNI
Source address
Remote address
Multicast group
device

In Proxmox habe ich folgende Optionen:

Peer Address List:
MTU:
Nodes:
IPAM:

Was davon müsste ich wo in der OPNsense eingeben?

6

Das weiß ich auswendig nicht genau. Du musst auf jeden Fall irgendwie alle Nodes da reinbringen… Das weiß ich nicht genau wie das OPNsense geht… (Wenn es geht)

7

Ja, ich habe genau das im Einsatz: Proxmox SDN mit VXLAN über eine OPNsense in der Hetzner Cloud verbunden, inkl. dedizierter Server bei Hetzner, die über einen vSwitch (VLAN 4000) verbunden sind.

:brain: Kurz zum Aufbau:

  • OPNsense läuft in der Hetzner Cloud
  • Drei dedizierte Proxmox-Server mit vSwitch-Verbindung (z. B. vSwitch4000)
  • Zentrales privates Netz: 10.150.23.0/24
    • Dieses habe ich in zwei Hälften aufgeteilt (Subnetting):
      • 10.150.23.0/25 → Cloud-OPNsense (z. B. 10.150.23.2)
      • 10.150.23.128/25 → Proxmox-Server (z. B. 10.150.23.130, 131 …)

:hammer_and_wrench: Konfiguration – Schritt für Schritt

:electric_plug: 1. vSwitch-Netz bei Hetzner anlegen

  • Lege in der Hetzner Cloud ein privates Netz an: z. B. 10.150.23.0/24
  • Weise VLAN 4000 zu und binde es an alle dedizierten Server

:floppy_disk: 2. Netzwerk auf den Proxmox-Servern konfigurieren

Füge auf jedem Proxmox-Server ein VLAN-Interface für den vSwitch hinzu:

auto vmbr0.4000
iface vmbr0.4000 inet static
    address 10.150.23.130/25
    mtu 1400
    vlan-id 4000
    vlan-raw-device vmbr0
    post-up ip route add 10.150.23.0/24 via 10.150.23.1

Wichtig:

  • mtu auf 1400
  • Route zur OPNsense setzen
  • Je Server eine andere IP (z. B. 10.150.23.131, 132 usw.)

:globe_with_meridians: 3. SDN in Proxmox aktivieren

Unter Datacenter > SDN:

  • Zone anlegen: z. B. opnsense-zone
    • Typ: vxlan
    • MTU: 1350
    • Peer Adressen: alle beteiligten IPs → z. B. 10.150.23.2,10.150.23.130,10.150.23.131
  • VNet anlegen: z. B. vxlan1000
    • ID: 1000
    • Bindet auf die VLAN-Bridge z. B. vmbr1 oder direkt auf SDN-Zone

:brick: 4. OPNsense: VXLAN & Bridge einrichten

In der OPNsense:

  • Für jeden Proxmox-Host ein eigenes VXLAN-Interface anlegen:
    • Source: OPNsense-IP (10.150.23.2)
    • Destination: jeweilige PVE-IP (10.150.23.130, 131 …)
    • VNI: gleich für alle z. B. 1000
    • MTU: 1350
    • Keine IP vergeben!
  • Dann:
    • Alle VXLAN-Interfaces in eine Bridge packen
    • Bridge-Interface bekommt IP aus z. B. 192.168.100.0/24, z. B. 192.168.100.254/24

:puzzle_piece: Wichtiges zum Schluss

  • MTU beachten:
    • Auf Proxmox-Seite vmbr0.4000 → 1400
    • Auf OPNsense → vtnet1 (oder entsprechendes Interface) → 1400
    • VXLAN-Interfaces + Bridge → 1350
  • Routing nicht vergessen:
    • Statische Route auf der OPNsense für 10.150.23.0/24 setzen
  • Ping-Test:
    • Zu Beginn müssen alle Hosts über das Netz 10.150.23.0/24 erreichbar sein – sonst funktioniert VXLAN nicht zuverlässig.

:speech_balloon: Ich habe das hier schnell aus dem Kopf geschrieben – wenn du Fragen hast, meld dich gern!

1 „Gefällt mir“
8

Ähm… Wie willst du denn in dem 10.150.23.128/25 auf eine .1 routen? Die gibt es da nicht :sweat_smile: (Tippfehler?)

1 „Gefällt mir“
9

Das Stimmt… Da das habe ich übersehen. Das Hetzner Gateway wäre dann die 10.150.23.129.

Die 10.150.23.1 wäre das Gateway für die Opnsense :slight_smile:

post-up ip route add 10.150.23.0/24 via 10.150.23.129