Sicherheit ist ein Prozess - und kein Zustand.
Es gibt keine Software, die man einfach so installiert und die Dein System dann quasi unverwundbar macht.
Am wichtigsten dürfte sein, sich jederzeit auf dem aktuellen Informationsstand bezüglich entdeckter Lücken zu halten und zügig entsprechend zu patchen.
Weiterhin sollte man das System schlank und übersichtlich halten und nur die Dinge aktivieren, die man wirklich braucht.
Bei jeder Funktion, jedem Feature sollte man abwägen, welchen funktionalen Gewinn es bringt - und welche Gefahren damit einhergehen.
Ob es ein schnell eingerichteter paßwortloser Testzugang ist - den man dann vergißt zu deaktivieren, eine Uploadmöglichkeit, die man nicht ständig kontrolliert oder auch ein Backup der Paßwortdatenbank - öffentlich zugänglich im Hauptverzeichnis.
Alles schon dagewesen.
Bei einem Rootserver gibt es nur eine Totsünde - das System laufenzulassen ohne danach zu schauen.
Ob es nun beleidigende Einträge im Gästebuch sind, ein Stapel Warez im FTP-Incoming oder eine Spamschleuder über den offenen Mailserver - letztendlich haftest Du für alle Schäden, die Dein Server anrichtet.
Dessen solltest Du Dir immer bewust sein.
Aber das ist gerade in diesem Forum schon oft genug geschrieben worden.