ich vermute jetzt einfach mal das es an Docker liegt, Docker überschreibt die iptables, damit das richtig funktioniert müssen Anpassungen vorgenommen werden, am besten mal im netz suchen nach Docker und iptables
alternativ wäre es besser das deine pfsense die sachen sperrt und nicht die VM wo dein Docker drauf läuft
mit crowdsec kann man das super umsetzen, die vm erkennt die aktivität und die OPNsense/PFsense sperrt es dan, wie du das mit fail2ban weiter leitest kann ich dir nicht sagen.
wen du dennoch auf der VM sperren willst ,musst du dafür wie gesagt den override von docker in den iptable umgehen.