100 Watt Server für 1 Gbit/s Colocation

A

arwed2012

New Member
Hallo,
ich habe mich entschieden für meinen Betrieb einen dedizierten Server anzuschaffen. Nach der Durchsicht diverser Mietserver-Angebote viel jedoch auf, dass diese fast immer bei Angriffen (DDos) null geroutet werden. Nun nehmen diese Angriffe jedoch zu und ich möchte gegen kleinere Angriffe sicher sein und habe zu diesem Zweck einen eigenen C++ Server geschrieben der es damit auf 600.000 UDP-packets per second (pps) bringt und damit auf knapp 300 Mbit/s bei 64-Byte paketgröße bringt. Dies wurde auf einem i7-2600 gemessen.

Bei meiner Suche nach einem Colocation Angebot, bin ich auf eines gestoßen welches nach 100Watt-Stufen abrechnet. Es ist mir daher sehr wichtig, unter den genannten 100 Watt zu bleiben, welche laut Anbieter beim booten gemessen wird. Meine 1. Frage... gibt es Schätzwerte wieviel % der Vollast-Leistung beim booten bereits benötigt werden ? 100% ? 80% ?.

Es wird keine große Platte benötigt, es soll später alles im RAM liegen und von dort aus über 4 oder 8 Server-Threads, welche alle den selben UDP Port bedienen übertragen werden.

Meine derzeitige Hardwarezusammenstellung sieht daher so aus:
- irgendein 87% (GOLD) Netzteil (1 HE)
- CPU: Xeon E3-1265L v2 Prozessor (2.5ghz x 4 - bis 3.5 GHz Turbo, 45 W TDP)
- MB: Supermicro X9SCM-F
- FP: 32 GB OCZ SSD
- RAM: 16 GB ECC 1600 Ram (irgendeiner)
- NIC: Intel 1000 GT (single port)

laut Thomas Krenn, kommt so ein Server auf knapp 105 Watt maximal Verbrauch und dürfte damit für 100 Watt in Frage kommen.

Was haltet ihr von dem Prozessor ? Wie schlägt der sich, wenn es um hardware interupts wie von der Netzwerkkarte geht ? Was ist dabei eigentlich entscheidend ? (Takt ?).

Alles in allem bleibt mir nur die Wahl entweder für 100Watt einen performanten, Energieeffizienten Server zusammenzustellen oder gleich einen der bis 200 Watt zieht. Da wäre dann sicherlich i7-2600 oder ähnlich drin.

Für jeden Tipp dankbar,
arwed
 
hey Arwed,

ich würde für einen Server immer auch eine Server-Netzwerkkarte nehmen.

Zugegebenermassen beschränken sich meine Erfahrungen da eher auf TCP-Anwendungen, hier habe ich aber ziemliche Unterschiede zwischen den Netzwerkkarten (jeweils Intel, einmal Desktop, einmal Server) gesehen.

Bei den Desktop-Karten war der throughput einfach schlecht, unabhängig von der CPU-Auslastung (habe also auch CPU-idle keine gute Performance gehabt).

Booten belastet den Server schon ganz ordentlich, ich würde hier also nicht zu knapp kalkulieren.

viel Erfolg bei deinem Projekt,
Nils
 
Wozu überhaupt die Netzwerkkarte? Das genannte Board hat doch schon zwei NICs on board, die laut Product Brief TCP/UDP checksum offloading sowohl für IPv4 als auch für IPv6 können? Zudem (falls der Switch des Hosters mitspielt) auch Jumbo Frames.

Eventuell kann man im BIOS noch einstellen, daß die Lüfter im Bootmoment nicht erstmal hochdrehen (macht man normalerweise) um unter der 100W-Schwelle zu bleiben. Notfalls (minimal) heruntertakten.
 
Vielen Dank für eure Anregungen

Die Hauptapplikation nutzt UDP.

Der Grund, weshalb eine extra Karte eingeplant ist mein Misstrauen gegenüber Onboard-NICs in Sachen Durchsatz. Nicht in Sachen Mbit/s, sondern in der für mich wichtigen Einheit Packets per second (pps). Die theoretische Grenze für 1 Gbit/s liegt bei kleinstmöglichen Packeten bei ca. 1.400.000 pps. Das will erst einmal beherscht sein. Ich lasse mich bei meinen Tests jedoch auch gerne vom Gegenteil überzeugen, würde dies doch zusätzlich ein paar Watt Einsparung bringen.

Für alle die es interessiert: um die genannten Packet-Raten zu erreichen, wird die Programmierung auf netmap mit multiplen Ringen (benötigt HW Support) setzen, mehr dazu auf http://queue.acm.org/detail.cfm?id=2103536.

Die Idee mit dem heruntertakten gefällt mir, darauf bin ich bisher noch nicht gekommen. Insgesamt bin ich erstaunt darüber, wie Energieeffizient CPUs doch geworden sind! 100 Watt für das gesamte System sind nix's.
 
Darf ich nur mal interessehalber fragen, für welchen Anwendungszweck derartig seltsame Anforderungen (DDoS fest, PPS, UDP) benötigt werden?
 
Selbstverständlich. Es geht um Software im Bereich von Online Games. Wir mussten bereits selbst die Erfahrung machen, dass es in diesen Bereichen nicht ganz fair zugeht und neue Anbieter auf dem Markt gnadenlos mittel DDos-Attacken davon abgehalten werden sollen, Fuß zu fassen. Der Markt ist eben sehr lukrativ und meisten verfügen Anbieter gleichzeitig sowohl über ein Interesse als auch 10.000 Kunden deren Software auch mal gerne dafür verwendet wird, als Botnet-Client zu fungieren. Jedoch sind auch die altbekannten Miet-Botnetze beteiligt (erkennbar an der hohen Anzahl von US-Computern). Der Grund hierfür ist vornehmlich, dass bei einer Unterbrechung durch die Server, die Spieler ihre virtuellen Items verlieren können, jedoch schlimmer noch: das Vertrauen in unser Produkt. Dann geht man erneut auf die Suche und entscheidet sich für ein Konkurenz-Produkt.

Der globale Markt in diesem Bereich ist gnadenlos und kennt leider keine Fairness.
 
:eek: Uh, das ist natürlich übel. Mir war bisher nicht bewußt, dass in diesem Bereich mit solchen Bandagen gekämpft wird.

Wenn man auch mal an die Zukunft denkt: soll denn die Server-IT von Euch selbst betreut werden, oder wäre evtl ein IT Dienstleister, der in einem RZ sitzt, oder selbst eines hat, angemessen? Oft genug gibt es durchaus auch (relativ) lokal sitzende Anbieter, die örtliche Nähe herstellen können, oder in Frankfurt sitzende Provider, die beste Anbindung haben.

Der Knackpunkt ist: ich denke mal Du brauchst evtl mehr Flexibilität als die meisten Colocation Anbieter bieten können, oder? Flexibilität im Hinblick z.B. auf Netzwerkkonfigurationen, Load Balancer, Firewalls, zusätzliche Server, etc.? Die Frage ist, wer das zeitnah servicen soll.
 
Wir sind mit unserem bisherigem Anbieter, der Netcup GmbH sehr zufrieden. Wir haben uns bereits bei der Software-Archtiektur Gedanken über das Load-Balancing und die Ausfall-Sicherheit gemacht und nutzen Server an verschiedenen Standorten welche dazu führen, dass einzelne Server in diesem Verbund auch mal Ausfallen dürfen ohne das Kunden betroffen sind. Nur ein dauerhaftes Lahmlegen via DDos wäre hier ein Problem.

Bei einem Colocation-Anbieter sind in der Regel Hands-on Dienste gegen Bezahlung kein Problem.
 
OK, dann kann man sich ja wirklich nur über den Server Gedanken machen. ;)

Was mir an Deiner Zusammenstellung nicht gefällt: die eine (?) 32 GB SSD. Ich nehme mal an, Du meinst damit "irgendeine" Consumer SSD? SSDs haben zwar normalerweise sehr gute MTBF Zeiten, aber trotzdem kann eine SSD auch von heute auf morgen ausfallen. Ist das ein Problem, oder wird das von Loadbalancing Mechanismen abgefedert? Man kann durchaus auch mit SSDs Raid1 realisieren. Wahlweise gibt es auch Enterprise SSDs, die für Server geeignet sind.
 
Hmm, vielleicht hab ich grad nen Denkfehler aber ich seh da grad n Problem:

Du willst deinen Server darauf auslegen, dass er ganz ganz viele pps verarbeiten kann, wenn n DDOS kommt.
Bisher wurdest du aber bei DDOS ge-null-routet.
Warum sollte dein Hoster das jetzt anders machen? In erster Linie macht er das ja, um seine eigene Infrastruktur zu schützen.
Außerdem: Bei nem DDOS >1GBit/s bringt dir der schnelle Server auch nix.
 
Ein zusätzlicher Vorschlag aus einer ganz anderen Ecke: https://www.cloudflare.com/features-security verspricht als Business und Enterprise Version auch
Advanced DDoS protection – layer 3 and 4
Your network and servers are automatically protected from a range of TCP floods including SYN, UDP and ICMP attacks. Never install another piece of hardware or software, and never worry again about bandwidth and overage fees.
Click to expand...

Keine Ahnung ob die Anwendung selbst dadurch zu schützen ist, der Webserver sollte aber zumindest vor dem Abkratzen geschützt werden können. Der finanzielle Einsatz dafür ist - im Vergleich zu dem was man sonst selbst investieren müsste - angemessen. Und man muss dann nicht völlig überdimensionierte Hardware durchfüttern.
 
Seitens des Providers habe ich die Zusage, dass bei DDos Angriffen unter 1 Gbit/s nicht abgeschaltet wird, solange der Traffic bezahlt wird.

Bei Hetzner/WebTropia wird man teilweise schon bei kleinen Angreifen von ständig 50 Mbit/s abgeschaltet. Egal ob man bereit wäre den Traffic zu bezahlen oder nicht. Das ganze ist halt eine Mischkalkulation. Die Devise scheint wohl zu sein, wenn wir dich nicht vom Netz nehmen, wird der Angreifer seine Messer wätzen und das selbst übernehmen.

Natürlich muss bei Angriffen über 1 Gbit/s aufgerüstet werden oder kurzzeitig interveniert werden (ggf. IP ändern wenn möglich, oder einzelnen Server abschalten... hier baue ich darauf, das jemand nicht 10 unterschiedliche Server gleichzeitig angreift sondern alles auf 1 Server bündeln würde..). Andererseits bietet mir der Hoster auch an, eine Firewall oder mehr Bandbreite als 1 Gbit/s zu beziehen. Da wird man sich einig. CloudFlare ist mir bekannt, jedoch ist das 200$ Einsteiger-Angebot ebenfalls mehr Versicherung als Dienstleistung.. Schaut man sich die Preise bei den Konkurennten an, geht es dort bei 3-500 $ / Monat für 1 Gbit / 1 mio pps los. Das erscheint mir auch realistischer kalkuliert. Von einer DDos-Attacke über 1 Gbps waren wir selbst noch nie betroffen, das war auch garnicht nötig um den Hoster zu bewegen mitzuhelfen... Die Latenz bei diesen DDos-Mitigation Systemen ist im übrigen auch nicht unerheblich. Für den Preis bekome ich auch noch 3 weitere Server mit LoadBalancer beim Hoster untergebracht..

Die Gesamtkosten für das oben genante System, liegen übrigends bei knapp 950€ inkl. MwSt. - einen Preis den ich für in Ordnung halte.
 
Last edited by a moderator:
Joe User said:
@remote_mind: Desktop-NICs haben oft keine http://en.wikipedia.org/wiki/TCP_offload_engine
Click to expand...

Ist mir klar. Dadurch steigt aber nicht der maximale Througput sondern die CPU-Belastung unter TCP-Last. Zumindest theoretisch :-P

Daher mein Hinweise auf die Ergebnisse bei CPU-Idle. Ist ja nicht so als würden moderne CPUs die Gigabit nur saturiert bekommen wenn es eine TOE gibt.

Ich war halt erstaunt dass trotz ausreichend CPU dennoch die 'billigen' Karten keine gute Leistung liefern.

schönes Wochenende,
Nils
 
Bei den OnBoard-Karten in den Hetzner-"Servern" haben wir ebenfalls die Erfahrung gemacht, dass diese bereits bei geringen Paketraten dicht machen - ohne auch nur irgendwie CPU-Last zu verursachen.

Die Billig-NICs brechen da einfach hardwareseitig zusammen, wir waren schon bei rund 20.000 PPS weg.

Seit eine Intel PRO drin ist, können uns auch 500.000 PPS nicht mehr als gestiegene Soft-IRQs anhaben (dank entsprechender Treiberkonfiguration).
 
You must log in or register to reply here.
Back
Top