Bei UNIX/Linux gehört der Desktop genau auf den Rechner, an dem Dein Monitor hängt. Dieses ganze gefrickel mit VNC, etc. ist einfach nur schrecklich. Wenn Du einen Ubuntu-Desktop haben willst, installiere es auf Deinem Rechner oder starte es von einer Live-DVD. Dann kannst Du Dich via ssh auf dem Server einloggen --die X11-Verbindung für grafische Ausgaben kann man dann einfach über die selbe ssh-Verbindung tunneln lassen-- und die gewünschte Anwendung auf dem Server starten, wobei das Fenster mit all seinen Widgets dann lokal auf Deinem Bildschirm erscheint. So und nicht anders ist das X11-Protokoll gedacht.
Alternativ kannst Du auch einen X-Server-Programm auf Deinem lokalen Windows-Rechner laufen lassen, das dann den selben Zweck erfüllen kann wie der Ubuntu-X-Server. Auf jeden Fall ist das performanter als die ganze Session übertragen zu müssen.
Ob jetzt auf dem Server Linux oder Windows laufen soll, musst Du selber entscheiden. Als Kriterien für die Auswahl solltest Du in Betracht ziehen, mit welchem Betriebssytsem Du Dich besser auskennst (Du allein bist nachher für die Sicherheit verantwortlich!) und was Du auf dem Teil laufen lassen willst.