Server Abused - Was Tun

[Zucker]

Hallo,

gestern habe ich von meinem Anbieter ein mail bekommen, dass mein server wohl abused wurde/wird. Daraufhin habe ich dann den Server mittels rootkithunter nach rootkits abgesucht, alle passwörter geändert, mit einer firewall eintreffende verbindungen auf den ssh port limitiert und generell einkommende verbindungen außer für geöffnete ports(Teamspeak+Minecraft) verboten und den direkten ssh-login auf den root abgeschaltet um einen BruteForce angriff zu erschweren.

Jetzt scheint es aber immernoch ungewollte verbindungen im netstat zu geben, die Frage ist wo diese herkommen, und ob die überhautp schädlich sind.

sollte ich noch etwas unternehmen?

hier ist einmal das log des rootkit hunters

[15:09:58] Running Rootkit Hunter version 1.4.0 on root
[15:09:58]
[15:09:58] Info: Start date is Wed Feb 26 15:09:58 CET 2014
[15:09:58]
[15:09:58] Checking configuration file and command-line options...
[15:09:58] Info: Detected operating system is 'Linux'
[15:09:58] Info: Found O/S name: Debian 7.4
[15:09:58] Info: Command line is /usr/bin/rkhunter -c
[15:09:58] Info: Environment shell is /bin/bash; rkhunter is using dash
[15:09:58] Info: Using configuration file '/etc/rkhunter.conf'
[15:09:58] Info: Installation directory is '/usr'
[15:09:58] Info: Using language 'en'
[15:09:58] Info: Using '/var/lib/rkhunter/db' as the database directory
[15:09:58] Info: Using '/usr/share/rkhunter/scripts' as the support script directory
[15:09:58] Info: Using '/usr/local/sbin /usr/local/bin /usr/sbin /usr/bin /sbin /bin' as the command directories
[15:09:58] Info: Using '/var/lib/rkhunter/tmp' as the temporary directory
[15:09:58] Info: No mail-on-warning address configured
[15:09:58] Info: X will be automatically detected
[15:09:58] Info: Found the 'basename' command: /usr/bin/basename
[15:09:58] Info: Found the 'diff' command: /usr/bin/diff
[15:09:58] Info: Found the 'dirname' command: /usr/bin/dirname
[15:09:58] Info: Found the 'file' command: /usr/bin/file
[15:09:58] Info: Found the 'find' command: /usr/bin/find
[15:09:58] Info: Found the 'ifconfig' command: /sbin/ifconfig
[15:09:58] Info: Found the 'ip' command: /sbin/ip
[15:09:58] Info: Found the 'ldd' command: /usr/bin/ldd
[15:09:58] Info: Found the 'lsattr' command: /usr/bin/lsattr
[15:09:58] Info: Found the 'lsmod' command: /sbin/lsmod
[15:09:58] Info: Found the 'lsof' command: /usr/bin/lsof
[15:09:58] Info: Found the 'mktemp' command: /bin/mktemp
[15:09:58] Info: Found the 'netstat' command: /bin/netstat
[15:09:58] Info: Found the 'perl' command: /usr/bin/perl
[15:09:58] Info: Found the 'pgrep' command: /usr/bin/pgrep
[15:09:58] Info: Found the 'ps' command: /bin/ps
[15:09:58] Info: Found the 'pwd' command: /bin/pwd
[15:09:58] Info: Found the 'readlink' command: /bin/readlink
[15:09:58] Info: Found the 'stat' command: /usr/bin/stat
[15:09:58] Info: Found the 'strings' command: /usr/bin/strings
[15:09:58] Info: System is not using prelinking
[15:09:58] Info: Using the '/usr/bin/sha1sum' command for the file hash checks
[15:09:58] Info: Stored hash values used hash function '/usr/bin/sha1sum'
[15:09:58] Info: Stored hash values did not use a package manager
[15:09:58] Info: The hash function field index is set to 1
[15:09:58] Info: No package manager specified: using hash function '/usr/bin/sha1sum'
[15:09:58] Info: Previous file attributes were stored
[15:09:59] Info: Enabled tests are: all
[15:09:59] Info: Disabled tests are: suspscan hidden_procs deleted_files packet_cap_apps apps
[15:09:59] Info: Found ksym file '/proc/kallsyms'
[15:09:59] Info: Using 'date' to process epoch second times.

Wäre wirklich für jede hilfe dankbar. Notfalls würde ich auch nen kompletten reset machen und den server neu aufsetzen, so viel ist da noch nicht drauf. Die Frage ist ob meine Sicherungsmaßnahmen ausreichen, oder ob ich etwas wichtiges vergessen habe.

 

[nexus]

Server offline nehmen, im Rescue booten, Ist-Zustand des Systems sichern, System analysieren, genutzte Sicherheitslücke finden, Server neu aufsetzen (gefundene Lecks natürlich schließen), glücklich sein

P.S.: Bei einem kompromittierten System ist es relativ sinnfrei, nach Rootkits zu suchen, weil die sich meist gut vor Erkennung schützen können, wenn sie sich denn einmal im System eingenistet haben.

 

[Zucker]

ok System analysieren...

krieg ich dazu irgend ne checklist?
Ich denke zwar dass ich das hinbekommen würde, aber ohne nen ansatzpunkt zu haben wie das funktioniert wird das schwierig :/
bzw wäre es nicht sinnvoller einfach komplett platt zu machen?

 

[Mordor]

Fangen wir doch mal ganz von vorne an:

Was stand denn in der Abuse Mail?

Wir hatten das auch bei nem Kunden, dass auf einem Ungepatchten Joomla ne Fischingsite läuft. anhand der AbuseMail und unseres Monitorings konnten wir das problem vor dem ersten eintreffen aber lokalisieren. Wir haben dann auch nicht den Server neu aufgesetzt. Warum auch.

Server neu aufsetzen is da immer schön schnell geschossen, es kommt aber immer drauf an, was das Problem war/ist.

 

[Zucker]

In der mail stand drin dass der Server zu einer Attacke genutzt wurde, das passt auch zur Traffic anzeige im Plesk Panel des Servers.

In der Mail Stand nur drin dass ich das Problem heben solle, und dann würde man testen ob das Problem weiterhin besteht. Bis jetzt habe ich nichts mehr von meinem Anbieter gehört und der Traffic ist des Servers ist ebenfalls ok, doch möchte ich hier Sicherheit schaffen. Denn es kann ja sein, dass der Server momentan nur nicht genutzt wird um damit unheil zu verbreiten.

 

[PapaBaer]

krieg ich dazu irgend ne checklist?

Nein. Dein Server ist individuell, da muss man auch individuell suchen. Erster Ansatzpunkt: Updates eingespielt? Betriebssystem? Webanwenungen? ...

bzw wäre es nicht sinnvoller einfach komplett platt zu machen?

Und hinterher die Lücke gleich wieder mit einspielen? Nein! Du musst herausfinden, wie der Einbruch möglich war. Danach installierst du den Server von Grund auf neu.

 

[Zucker]

Der Server wurde mit Debian 7 bereitgestellt, ein update auf das system selbst habe ich nicht gemacht, bin davon ausgegangen einen aktuelles os auf dem Server zu haben.

Webanwendungen sind nur die vom Anbieter bereitgestellten Anwendung wie z.B. das PleskPanel

 

[sbr2d2]

Also keine Gameserver oder vielleicht eine kleine Homepage mit irgendeinem cms? Wie schon gesagt wurde, Du allein stehst als Administrator in der Pflicht dein System sicher zu halten. Das beinhaltet Systemupdates genauso wie das Updaten der übrigen Software.
Du mußt jetzt halt in den sauren Apfel beißen und anfangen die Logfiles durch zu gehen und nach Auffälligkeiten zu suchen, schauen ob Dateien verändert oder hinzu gefügt wurden welche jetzt fröhlich auf deinem Server Samba tanzen. Es gibt da reichlich Ansätze, aber das wichtigste wurde dir schon gesagt.

Server offline nehmen, im Rescue booten, Ist-Zustand des Systems sichern, System analysieren

 

[Lord Gurke]

In der mail stand drin dass der Server zu einer Attacke genutzt wurde, das passt auch zur Traffic anzeige im Plesk Panel des Servers.

WAS für eine Attacke denn? Wenn es ein offener DNS-Resolver ist, ist keiner eingebrochen, das ist einfach nur doof konfiguriert.
War es eine DNS-Reflection-Attacke: Dito, da hilft nur Rate-Limiting.
Wenn du weißt um was für Angriffe es sich handelt, kann man das vielleicht eingrenzen.

 

[Zucker]

Um welche Art von Attacke es sich gehandelt hat steht nicht in der Nachricht, lediglich dass der Server mit einer Bandbreite von 72Mbit/s 2mal 326873 packets versendet hat.

Beim auswerten der Log habe ich gesehen dass es eine menge bruteforce angriff gegeben hat, diese sind aber eingestellt worden nachdem ich den ssh port geändert hatte.

 

[nexus]

Um welche Art von Attacke es sich gehandelt hat steht nicht in der Nachricht, lediglich dass der Server mit einer Bandbreite von 72Mbit/s 2mal 326873 packets versendet hat.

Das ist der ausgehende Angriff.
Hier muß jetzt analysiert werden, wie der Angriff möglich wurde bzw. welche Schwachstelle hier gezielt ausgenutzt wurde.

Beim auswerten der Log habe ich gesehen dass es eine menge bruteforce angriff gegeben hat, diese sind aber eingestellt worden nachdem ich den ssh port geändert hatte.

Das klingt eher nach eingehenden Angriffsversuchen auf deinen SSH. Gehört eigentlich zum Grundrauschen und ist (soweit es tatsächlich eingehend ist) für dein aktuelles Problem nicht relevant.

 

[rauppe31]

Von was für einem Anbieter hast du denn den Server?
Am besten schreibst du mal konkret die Logs in diesen Thread, die du mit dem Abuse-Mail geschickt bekommen hast. Sonst ist das hier weiterhin ein Ratespiel.

 

[Deleted member 11740]

Ich würde das System so wie es ist sichern und nochmals starten und genau bobachten welche Ports offen sind. Kannst du mit netstat machen, besser wäre aber lsof -i[n] siehst dann auch die PID des Prozesses und kannst dann rückwärts zurückverfolgen. Wenn du Pech hast, wird die Schadsoftware nicht mehr gestartet. Das System jetzt blind einfach neu aufzusetzen, wäre ein fataler Fehler. Dann weißt du nicht mehr welche Lücke es gewesen ist.

Liste mal einfach alle Serverdienste und Webanwendungen (CMS usw.) auf, die laufen. Da schon unter anderem Teamspeak genannt worden ist, würde ich dort zuerst suchen. TS ist ein beliebtes Angriffziel. Soweit ich weiß gab es desöfteren Bugs in der Software, die unter anderem Exploits ermöglichten.

import os
import datetime
for root, dirs, files in os.walk('.'):
    for file in files:
        if  datetime.datetime.fromtimestamp(os.stat(os.path.join(root, file))[8]).year == 2013:
            print os.path.join(root, file)

Ja, wie macht man das jetzt mit find? In Python ist das schon irgendwie overkill.

 

[[netcup] Felix]

Guten Morgen,


wenn du schnell genug nachfragst, kann dein Anbieter dir sicherlich nähere Details zu den Verbindungen nennen. Sprich zu welcher IP / welchen IPs wurden die Verbindungen aufgebaut und welche Ports wurden verwendet.

Aus Erfahrung und aktuellen Anlässen vermute ich, dass auf deinem Server ein DNS-Resolver läuft, der für einen Angriff missbraucht wurde.

Ich hoffe das ich ein wenig helfen konnte.


Viele Grüße

Felix

 

[Eve]

In der mail stand drin dass der Server zu einer Attacke genutzt wurde, das passt auch zur Traffic anzeige im Plesk Panel des Servers.

Auf DNS Amplification und NTP Amplification Gecheckt ?

TS ist ein beliebtes Angriffziel. Soweit ich weiß gab es desöfteren Bugs in der Software, die unter anderem Exploits ermöglichten.

Bullshit *Hust*

 

[[netcup] Felix]

TS hatte in der Tat Fehler die zu massiven Floods geführt haben. Wir hatten etliche Abuse-Fälle deswegen. Mittlerweile wird entweder TS weniger genutzt oder die Fehler sind behoben.

 

[Eve]

TS hatte in der Tat Fehler die zu massiven Floods geführt haben. Wir hatten etliche Abuse-Fälle deswegen. Mittlerweile wird entweder TS weniger genutzt oder die Fehler sind behoben.

Den Bug gibt es schon seit der Beta9 (Vor 5 Jahren / 2009) nicht mehr.

=== Server Release 3.0.0-beta9 26 Dec 2009
- prevent denial of service on filetransfer port, that could also cause ASSERT failures

Wer eine Beta betreibt hat mit solchen Bugs zu Rechnen das kann man dann nicht als Aktuell Hinstellen.

Ich Behaupte ja auch nicht das Euro Server Immer Unerreichbar sind weil ihr ein mal einen DDoS Angriffe abbekommen habt der zu Stark für eure Infrastruktur War.

Mir ist kein einziger Bug seit der Beta Bekannt der einen Flood Auslöst oder sonstige Sicherheitslücken - Und ich bin schon seit Closed Alpah dabei kenne das Entwicklerteam.

 

[Deleted member 11740]

Im letzten Jahr hatte ein Freund mit dem TS genau dieses Problem. Durch den Server ist eine neue Instaz irgendeiner Software gestartet worden, die andere angegriffen hat. Keine Ahnung welcher Bug es gewesen ist. Hat mich auch nicht weiter interessiert, da ich auf der Kiste nicht für die Sicherheit verantwortlich bin. Nur weil du davon noch nie etwas gehört hast, heißt das noch lange nicht, dass das Problem nicht existiert.

 

[Zucker]

Den server hab ich neugestartet, und dabei die offenen ports überwacht, da ist nichts mehr das da nicht hin gehört.

Der Angriff auf den ssh port hatte nichts mit dem ausgehnden angriff zu tun, jedenfalls nicht direkt. Die schwachstelle war das Passwort, mittels Bruteforce ist man reingekommen.

Stärkeres Passwort, sowie fail2ban sollten dem jetzt entgegen wirken.

 

[PapaBaer]

Stärkeres Passwort, sowie fail2ban sollten dem jetzt entgegen wirken.

Du möchtest deinen Server trotzdem neu aufsetzen. Du hast jetzt die Tür zugenagelt, weißt aber nicht, wer schon drin ist...