In einem eigenen Rack kann es sinnvoll sein, die Server nicht nur über den Switch des Providers zu verbinden, sondern auch noch intern über ein 2. Netzwerkinterface und einen eigenen Switch. Damit ist man ein Stück weit unabhängig von dessen Infrastruktur.
Die 100MBit/s-Limitierung kann man bei besseren Switchen durch Traffic-Shaping/QoS lösen, im einfachsten Fall nimmst Du einfach einen Switch mit 100er Ports für die Server und (ggf. auch mehrere gebündelt) Gigabit für den Uplink.
Auf die Backplane-Geschwindigkeit achten, billige Switche können hier u.U. nicht alle Ports gleichzeitig sättigen.
Falls mit dem Provider eine Traffic-Volumenvereinbarung existiert, sollte der Switch sFlow zum "Nachzählen" unterstützen.
Wenn ja, solltest du den Switch per Glasfaser an den Router anschließen. Dann hast du bei den "kleineren" Modulen zwar auch nur 1GBit/s, aber über Glas hast du i.d.R. höhere Paketraten und damit etwas mehr Geschwindigkeit.
Kannst Du das bitte mal kurz erklären?
Nach meinem Verständnis können sowohl Kupfer- als auch Glasfaser-Gigabit-Ethernet 125 MByte/s full-duplex transportieren.
Flow-Control und Jumbo Packets setzen im Schichtenmodell erst oberhalb des Physical Layer an und gehen prinzipiell bei beiden.
Zum Thema USV hat Google mal eine Studie gemacht, ein eigener Akku pro Serverknoten ist dort wohl
üblich.