Backbone-Probleme Hetzner RZ 10-15

[Dawn]

Typ: Störungsmeldung
Kategorien: Netzwerk
Start: 6. September 2011 15:20:00 CEST
Ende: Unbekannt
Beschreibung: Aufgrund einer aktuellen Störung ist die Backboneconnection Frankfurt/Main - Falkenstein nicht verfügbar. Unsere Techniker routen den Traffic über andere Leitungen, so dass die Störung in Kürze behoben sein sollte.
Betroffen: Alle Server in den Rechenzentren RZ10-RZ15

Quelle: http://www.hetzner-status.de/

Meine Server sind nur extrem langsam erreichbar.

 

[Dawn]

Neustes News-Update:

6. September 2011 16:05:00 CEST
Unsere Techniker sind weiterhin dabei, Traffic von der defekten Route auf andere Verbindungen zu verteilen. Die Situation wird sich dadurch nach und nach verbessern. Wir informieren, sobald der komplette Traffic erfolgreich umgeroutet wurde. Bis dahin bitten wir die betroffenen Kunden noch um Geduld.

 

[Dawn]

Neustes Update 16:20:

Wir haben eine offizielle Stellungnahme des Leitungsanbieters (Wingas) erhalten:

>hiermit möchten wir Sie über eine Störung unseres Leitungsabschnittes zwischen
>Dürrengleina und Saaletal/Jena informieren.
>Bei Baggerarbeiten wurde ein Glasfaserkabel durchtrennt.
>
>Das LWL-Bereitschaftsteam ist bereits auf dem Weg.
>Sobald wir neue Erkenntnisse über den Fortlauf der
>Störungsbeseitigung haben, werden wir
>Sie unverzüglich darüber informieren.

Derzeit routen wir unseren Traffic aufgrund der Störung ausschließlich über redundante Verbindungen nach Falkenstein, was vielfach zu weniger optimalem Routing und teilweise zu höheren Latenzen führt.

Bei mir sind nicht unbedingt die Latenzen das Problem, sondern schlichtweg die sehr eingeschränkte Bandbreite wie mir scheint.

 

[nevakee]

Immer diese Baggerfahrer...

 

[Dawn]

Immer diese Baggerfahrer...

Wie wahr.. Das ist auch nicht das erste mal das ich das von einem ISP lese.

Neustes Update:

Aufgrund des aktuellen Leitungsausfalls ist unser Netzwerk noch immer negativ beeinträchtigt. Da die Reparaturarbeiten für die ausgefallene Glasfaser voraussichtich noch mehrere Stunden andauern werden, erwarten wir die endgültige Störungbeseitigung erst im Laufe der kommenden Nacht. Wir möchten uns bei allen betroffenen Kunden für auftretende Performanceprobleme entschuldigen.

Was ich vorbildlich finde ist wie Hetzner informiert (auch wenn sie den Timestamp jeweils zurücksetzen). Da habe ich auch schon anderes erlebt..

Was ich ein wenig bedenklich finde ist, dass eine sogenannte "redundate Infrastruktur" nicht wirklich redundant zu sein scheint. Seit heute 15:30 schafft mein Hauptserver es nur noch Seiten mit gefühlten 0.1 KB/s auszuliefern.

EDIT: Die Pings sind immer noch 15-16x langsamer als gewohnt.

 

[nevakee]

Redundant ist es doch. Seite ist erreichbar, auch wenn nur sehr langsam.

Die noch vorhandenen Kapazitäten halten den umgerouteten Traffic nur nicht aus.

 

[Dawn]

Du hast mit deiner (sarkastischen) Aussage sicher recht, aber das läuft darauf hinaus dass alle Server der betroffenen RZ's von einem einzigen Backbone abhängig sind.

Da hätte ich mehr von Hetzner erwartet...

Wie jemand (zurecht) im Hetzner-Forum gepostet hat:

Hm, also aktuell wird es bei mir eher immer schlechter mit der Erreichbarkeit. Mittlerweile sollten doch adäquate "redundante" Routen gefunden worden sein? Irgendwie hab ich mir das mit "redundant" und dem Ausfall einer einzigen Glasfaser anders vorgestellt - muss aber zu geben dass ich keine Ahnung von der Dimension und der dahinter stehenden Technik habe. Erinnert mich dennoch ein wenig an die USV die nicht USVen wollte oder den doch nicht so redundanten Core-Router

Das hat eben schon seine Wahrheit. Aber vielleicht gibt es ja etwas, was wir übersehen und andere Schlüsse zulassen würde.

 

[stefans]

Das dauert in der Tat ewig Habe auch einen Server im 12er RZ stehen. Squeeze Installation dauert schon 20 Minuten - Downloadraten jenseits von Gut und Böse.

Da geht die Installation ja schneller mit meiner 2000er DSL Leitung

Zum Glück hatte ich das 64bit Image von Squeeze schon letzte Woche heruntergeladen

 

[Dawn]

@stefans: War wohl keine dumme Idee...

Aber du kannst ja sonst auch die internen Debian-Mirrors von Hetzner nutzen, die sollten ja nicht betroffen sein.

 

[stefans]

Letzte Woche hab ich über die meine Updates mal geholt... die waren deutlich langsamer als die debian Server - die hetzner Mirrors sind jetzt auskommentiert auf der Hostmaschine

Aktuell kriege ich 30 kB/s

Konnte der Baggerfahrer nicht erstmal im Sandkasten üben...

 

[Dawn]

Zwar ein DP vom Hetznerforum, aber ich denke der passt auch hier:

Wenigstens war es nicht eine alte Dame beim Altmetall-Sammeln welche aus versehen das "Backbonekabel" weiterverwerten wollte

 

[Bill Gates]

6. September 2011 20:30:00 CEST

Wir haben eben ein Status Update von Wingas bekommen:
Laut aktueller Informationen von der Baustelle werden die Reparaturarbeiten noch einige weitere Stunden andauern.

Also ich lade mit 9,1 KB/s runter da kommt echt Freude auf. Kann ruhig so nicht bleiben

Update 1:

6. September 2011 21:18:00 CEST

Soeben erhielten wir ein Update des Leitungsanbieters.

> die Reparaturarbeiten des beschädigten Glasfaserkabels werden aufgrund der
> massiven Beschädigung des Kabels und der Lage des Störungsfalles noch
> weitere Zeit in Anspruch nehmen.
>
> Die Kollegen des LWL-Teams arbeiten mit Hochdruck an der Behebung.

Update 2:

6. September 2011 22:30:00 CEST

Wingas ist nach wie vor damit beschäftigt, das LWL-Kabel so schnell wie möglich zu reparieren.

 

[Dawn]

Update von 22:30 Uhr:

Wingas ist nach wie vor damit beschäftigt, das LWL-Kabel so schnell wie möglich zu reparieren.

Und so scheint das ganze in der Theorie auszusehen: http://www.wingas.de/lage_neben_pipeline.html

 

[Dawn]

Server sind wieder mit einem normalen Ping erreichbar. Webseiten funktionieren so schnell wie gewohnt.

Ich nehme an die Redundanz ist nun wirklich im Einsatz

 

[Lord Gurke]

So krass wie Latenzzeiten und Packetloss heruntergegangen sind glaube ich gerade, dass das Kabel wieder funktioniert

 

[Dawn]

Jepp, ist behoben:

6. September 2011 23:30:00 CEST
Die Leitung konnte vor einigen Minuten wieder in Betrieb genommen werden. Wir kehren damit in den regulären Betrieb zurück. Wir beobachten den Status nach wie vor aktiv.