serverloft und xen

thefreak · Oct 27, 2008

hi zusammen,

ich hab zwei lofies XXL und mit beiden das gleiche Problem:

Xen funktioniert ja nicht mit network-bridge, da der Switch laut Support nur eine MAC durchlässt. Mit network-route schafft der Server nicht genug Datendurchsatz - mein Webserver (Nginx/Lighty) im Dom0 schafft bei vielen kleinen Dateien und vieeelen Zugriffen über 10.000KB/s ausgehend. Im DomU hängt er schon bei 3-4k ziemlich und liefert nicht mehr schnell genug aus.

Hat von euch jemand bei Serverloft routed networking im Einsatz?

gruß

Huschi · Oct 28, 2008

thefreak said:
Im DomU hängt er schon bei 3-4k ziemlich und liefert nicht mehr schnell genug aus.

Beschreibe die Symptome mal etwas präziser.

huschi.

thefreak · Oct 29, 2008

Wenn ich auf die DomU einen Teil der Zugriffe leite antwortet ab ungefähr 3500kbyte/s (in iptraf) der Webserver teils sehr langsam.
Bei gleicher Anzahl der Zugriffe in % wie im Dom0 reagiert der Server (fast) gar nicht mehr - und iptraf zeigt auch nicht bedeutend mehr an.

Gruß

Huschi · Oct 29, 2008

Hast Du denn schon ausgeschlossen, daß es sich um Probleme innerhalb der DomU handelt?
Kannst Du z.B. den selben Test innerhalb der DomU wiederholen? (Also Aufruf über localhost ohne über das virtuelle Netzwerk.)

Denn evtl. stößt die DomU bereits an ihre Grenzen...?

huschi.

thefreak · Oct 29, 2008

Ja.
Die DomU langweilt sich zu tode - auf einem anderen System liefert eine DomU mit nur einen CPU und 1GB Ram bei Load < 0.5 deutlich über 100Mbit aus - bei diesem Test hat die DomU 8 Cores und 8GB Ram und dreht ebenso Däumchen.

Es ist kein Benchmark, sondern reale Zugriffe. Daher ist es über Localhost etwas schwer

Gruß

Huschi · Oct 29, 2008

thefreak said:
Es ist kein Benchmark, sondern reale Zugriffe. Daher ist es über Localhost etwas schwer

Dann mach einen realen Benchmark-Test. Von extern, von Dom0 und von der DomU selbst.
Denn entweder Du willst den Fehler eingrenzen um ihn zu finden, oder Du versuchst es mit wilden Spekulationen...

Außer dem maximalen Traffic hast Du bisher noch keine Fakten genannt.
Wie sieht Deine Routing-Tabelle (Dom0 & DomU) aus?
Was hast Du konkret in der xen.cnf konfiguriert?
Wie sieht die Auslastung in der DomU aus, sobald der Traffic zustande kommt? (z.B. in top)

huschi.

thefreak · Oct 29, 2008

paar Fakten von realen Lastbedingungen

xend-config.sxp

Code:

(network-script 'network-route netdev=eth0')
(vif-script     vif-route)

domU .cfg

Code:

vif         = [ 'ip=85.25.123.x,mac=00:16:3E:19:EF:B4' ]

domU ifconfig+route

Code:

:~# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:16:3e:19:ef:b4
          inet addr:85.25.123.x  Bcast:85.25.123.127  Mask:255.255.255.128

~# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
85.25.123.0     0.0.0.0         255.255.255.128 U     0      0        0 eth0
0.0.0.0         85.25.123.1     0.0.0.0         UG    100    0        0 eth0

DomO ifconfig+route

Code:

:~# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:40:d0:b0:xx:xx
          inet addr:85.25.120.y  Bcast:85.25.120.191  Mask:255.255.255.192
vif1.0    Link encap:Ethernet  HWaddr fe:ff:ff:ff:ff:ff
          inet addr:85.25.120.y  Bcast:85.255.255.255  Mask:255.255.255.255

:~# route -n
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
85.25.123.x    0.0.0.0         255.255.255.255 UH    0      0        0 vif1.0
85.25.120.128   0.0.0.0         255.255.255.192 U     0      0        0 eth0
0.0.0.0         85.25.120.129   0.0.0.0         UG    100    0        0 eth0

dom0 iptables -L -n

Code:

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination
ACCEPT     all  --  85.25.123.x         0.0.0.0/0           PHYSDEV match --physdev-in vif1.0
ACCEPT     udp  --  0.0.0.0/0            0.0.0.0/0           PHYSDEV match --physdev-in vif1.0 udp spt:68 dpt:67

Bissl Last - lief noch passabel:

Code:

load average: 0.04, 0.05, 0.01
Total rates:       4051,2 kbytes/sec    5056,0 packets/sec     

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
23170 root      20   0 11800 1292  920 R   17  0.0   0:10.20 iptraf
23151 www-data  20   0 54992  28m  728 S    6  0.7   0:03.82 nginx: worker process
23154 www-data  20   0 50460  23m  724 S    6  0.6   0:01.52 nginx: worker process
23156 www-data  20   0 53144  26m  728 S    5  0.6   0:03.82 nginx: worker process
23155 www-data  20   0 55044  28m  724 S    4  0.7   0:02.80 nginx: worker process
23153 www-data  20   0 52684  25m  728 S    3  0.6   0:02.08 nginx: worker process
23152 www-data  20   0 47132  20m  728 S    1  0.5   0:00.76 nginx: worker process
23157 www-data  20   0 48992  22m  724 S    1  0.5   0:00.94 nginx: worker process
23149 www-data  20   0 47056  20m  728 S    1  0.5   0:00.50 nginx: worker process
    1 root      20   0  3984  840  592 S    0  0.0   0:00.20 /sbin/init
    2 root      15  -5     0    0    0 S    0  0.0   0:00.00 [kthreadd]

mehr Last ("nur" 6500KB/s outgoing) und er hängt, hab den Test dann wieder abgebrochen:
sehr interessant sind hier die Anzahl der ICMP Pakete - eigentlich müssten die auf 0 sein..

Code:

 IPTraf
+ Statistics for eth0 -------------------------------------------------------------+
|                                                                                    |
|               Total      Total    Incoming   Incoming    Outgoing   Outgoing       |
|             Packets      Bytes     Packets      Bytes     Packets   Bytes       |
| Total:      1170509    800533K      626301    137636K      544208    662897K       |
| IP:         1170509    784146K      626301    128868K      544208    655278K       |
| TCP:        1041903    710111K      497704   54834036      544199    655277K       |
| UDP:             10        775           8        643           2        132       |
| ICMP:        128596   74034314      128589   74033609           7        705       |
| Other IP:         0          0           0          0           0          0       |
| Non-IP:           0          0           0          0           0          0       |
|                                                                                    |
|                                                                                    |
| Total rates:       7744,2 kbytes/sec       Broadcast packets:            0         |
|                    9636,2 packets/sec      Broadcast bytes:              0         |
|                                                                                    |
| Incoming rates:    1234,0 kbytes/sec                                               |
|                    5100,6 packets/sec                                              |
|                                            IP checksum errors:           0         |
| Outgoing rates:    6509,3 kbytes/sec                                               |
|                    4535,6 packets/sec                                              |



top - 12:12:13 up 1 day, 23:38,  2 users,  load average: 0.54, 0.20, 0.06
Tasks:  71 total,   3 running,  68 sleeping,   0 stopped,   0 zombie
Cpu(s):  3.1%us,  1.5%sy,  0.0%ni, 95.2%id,  0.0%wa,  0.0%hi,  0.0%si,  0.2%st
Mem:   4194524k total,   889044k used,  3305480k free,    75632k buffers
Swap:  2097144k total,        0k used,  2097144k free,   154860k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
23170 root      20   0 11800 1292  920 S   21  0.0   0:28.52 iptraf
23154 www-data  20   0 56728  29m  748 R    7  0.7   0:07.12 nginx: worker process
23155 www-data  20   0 56032  29m  728 S    7  0.7   0:07.26 nginx: worker process
23149 www-data  20   0 52648  25m  728 S    5  0.6   0:03.14 nginx: worker process
23153 www-data  20   0 57140  30m  728 S    5  0.7   0:06.68 nginx: worker process
23156 www-data  20   0 59096  32m  728 S    5  0.8   0:09.10 nginx: worker process
23151 www-data  20   0 56764  29m  748 R    4  0.7   0:08.58 nginx: worker process
23157 www-data  20   0 52812  25m  744 S    4  0.6   0:03.84 nginx: worker process
23152 www-data  20   0 52276  25m  748 S    3  0.6   0:03.06 nginx: worker process
    1 root      20   0  3984  840  592 S    0  0.0   0:00.20 /sbin/init
    2 root      15  -5     0    0    0 S    0  0.0   0:00.00 [kthreadd]
    3 root      RT  -5     0    0    0 S    0  0.0   0:00.04 [migration/0]
    4 root      15  -5     0    0    0 S    0  0.0   0:00.00 [ksoftirqd/0]

/edit: mal genauer angucken..

tcpdump icmp -n in domU

Code:

tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes
12:26:26.931240 IP 85.25.120.y > 85.25.123.x: ICMP 194.209.170.65 unreachable - need to frag (mtu 1500), length 556
12:26:27.054368 IP 85.25.120.y > 85.25.123.x: ICMP 81.173.153.119 unreachable - need to frag (mtu 1500), length 556
12:26:33.166103 IP 85.25.120.y > 85.25.123.x: ICMP 194.209.170.65 unreachable - need to frag (mtu 1500), length 556
12:26:33.499910 IP 85.25.120.y > 85.25.123.x: ICMP 84.143.154.85 unreachable - need to frag (mtu 1500), length 556
12:26:39.864691 IP 85.25.120.y > 85.25.123.x: ICMP 195.137.217.2 unreachable - need to frag (mtu 1500), length 556
12:26:43.368001 IP 85.25.120.y > 85.25.123.x: ICMP 87.162.100.53 unreachable - need to frag (mtu 1500), length 556

/edit2:

das "übliche" ethtool -K eth0 tx off danach Total rates: 10130,9 kbytes/sec 16448,0 packets/sec - sieht schon deutlich besser aus.
Trotzdem kommen immer noch die gleichen ICMP Fehler rein, aber in 45Sek Last nur noch 43 statt davor 4stellig.

touchy · Oct 30, 2008

HI,

ich habe mir den Thread hier gerade durchgelesen - konntest du das ganze mit einem ordentlichen Ergebnis lösen?

Gruß

omnivagus · Nov 1, 2008

habe mir auch einen xxl geholt und muss leider feststellen, dass ich xen immer nur mit network-bridge verwendet habe. hatte bisher einen co-loc server und war nie mit solchen problemen konfrontiert. als ich jetzt die die zusätzlichen IPs vom xxl server gesehen habe wurde mir klar, das gibt ärger..

ich krieg das mit dem network-route nicht hin. kannst du vielleicht mit wenigen worten beschreiben, was du außer den oben genannten configs sonst unternehmen musstest um aus domu überhaupt mal rauspingen zu können?

bevor ich bestellt habe hat mir der support gesagt, dass es kein problem wäre xen laufen zu lassen... nun ja.. theoretisch stimmt das ja auch. ich habe irgendwo gelesen, dass die selbst bald xen-angebote verkaufen wollen - ich denke es ist kein zufall, dass die steine in den weg legen.

danke schon mal

thefreak · Nov 1, 2008

eigentlich nichts.. die xend-config.sxp ändern, server neu starten.

gruß

omnivagus · Nov 1, 2008

Wie sieht denn deine /etc/network/interfaces in domU aus? Was hast du da für einen gateway und welche netmask eingetragen ? Mir ist nicht ganz klar, wie deine routes in domu zu stande kommen..

Hast du xen über die ports installiert? gutsy oder hardy als domU?
Musstest du auch

Code:

disk        = [
                  'file:/home/xen/domains/xen1.example.com/swap.img,hda1,w',
                  'file:/home/xen/domains/xen1.example.com/disk.img,hda2,w',
              ]

in

Code:

disk        = [
                  'tap:aio:/home/xen/domains/xen1.example.com/swap.img,hda1,w',
                  'tap:aio:/home/xen/domains/xen1.example.com/disk.img,hda2,w',
              ]

ändern, weil du sonst

Code:

Error: Device 769 (vbd) could not be connected. losetup /dev/loop0 /home/xen/domains/xen1.example.com/swap.img failed

als Fehler erhalten hast?

In dom0 sieht bei mir alles normal aus: ifconfig

Code:

eth0      Link encap:Ethernet  HWaddr 00:40:d0:bf:e6:33  
          inet addr:85.25.120.xxx  Bcast:85.25.120.127  Mask:255.255.255.192
vif1.0    Link encap:Ethernet  HWaddr fe:ff:ff:ff:ff:ff  
          inet addr:85.25.120.xxx  Bcast:85.255.255.255  Mask:255.255.255.255

route -n

Code:

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
85.25.122.yyy   0.0.0.0         255.255.255.255 UH    0      0        0 vif1.0
85.25.120.64    0.0.0.0         255.255.255.192 U     0      0        0 eth0
0.0.0.0         85.25.120.65    0.0.0.0         UG    100    0        0 eth0

iptables -L -n

Code:

target     prot opt source               destination         
ACCEPT     all  --  85.25.122.yyy        0.0.0.0/0           PHYSDEV match --physdev-in vif1.0 
ACCEPT     udp  --  0.0.0.0/0            0.0.0.0/0           PHYSDEV match --physdev-in vif1.0 udp spt:68 dpt:67

---

domU dagegen passt es nicht ganz: ifconfig

Code:

eth0      Link encap:Ethernet  HWaddr 00:16:3e:a8:46:e1  
          inet addr:85.25.122.yyy  Bcast:85.25.122.255  Mask:255.255.255.128

route -n

Code:

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
85.25.122.128   0.0.0.0         255.255.255.128 U     0      0        0 eth0

Das hier habe ich auch probiert - leider ohne Erfolg.

Vielleicht hast du mir einen Tipp.

thefreak · Nov 1, 2008

omnivagus said:
Wie sieht denn deine /etc/network/interfaces in domU aus? Was hast du da für einen gateway und welche netmask eingetragen ? Mir ist nicht ganz klar, wie deine routes in domu zu stande kommen..

auto eth0
iface eth0 inet static
address 85.25.123.xx
gateway 85.25.123.1
netmask 255.255.255.128

omnivagus said:
Hast du xen über die ports installiert? gutsy oder hardy als domU?

hab den server im rescue modus mit hardy+lvm installiert, die performance mit file based domains ist nach meiner erfahrung eher schlecht

/edit: danke für die warnung ;-)

omnivagus · Nov 1, 2008

Hach ja die Warnung..

Ja, file based ist lahm aber ich wollte auch nur schnell testen ob die Netzwerkeinstellungen funktionieren - was leider nicht der Fall ist.

Wie kommst du auf 85.25.123.1 als gateway?
Hast du dir zu deiner Haupt-IP 85.25.120.y auch einfach diese 3 weiteren freien IPs (85.25.123.x) geholt?

Ich verstehe es einfach nicht, viel falsch machen kann man eigentlich nicht, aber das Ergebnis ist:
domU

Code:

Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
85.25.122.128   0.0.0.0         255.255.255.128 U     0      0        0 eth0

1. fehlt da etwas und 2. frage ich mich, woher die 85.25.122.128 kommt..
natürlich kann ich die fehlende route manuell einrichten, aber mir ist nicht klar welchen gateway ich verwenden muss.

Du bist irgendwie der einzige, der ein funktionierendes Xen bei den lofties online dokumentiert hat. Tut mir leid wenn ich dich damit quäle, aber da bis auf die IPs im Prinzip alles identisch ist glaube ich, dass die Lösung nicht weit weg ist.

Thorsten · Nov 1, 2008

Hallo!
Unser netter (Ex-) Benutzer thefreak hat um Löschung seines Accounts gebeten. Ich schließe aus diesem Grund hier das Thema.

mfG
Thorsten

Huschi · Nov 2, 2008

@Thorsten:
Die Themen-Schließung halte ich für zu schnell, da hier ein ungelöstes Problem besteht, welches nicht nur thefreak beantworten kann.

@omnivagus:
Grundsätzlich ist das routed-Networking im Hetzner-Wiki gut erklärt:
Xen - Hetzner DokuWiki
Allerdings sind im Wiki bereits einige alte Informationen enthalten. Aber mit folgenden ging es relativ gut:
Xen auf Debian Etch 64bit default image - Hetzner DokuWiki
IP-Subnetze - Hetzner DokuWiki
Netzkonfiguration Debian - Hetzner DokuWiki
9 IP Adressen mit Ubuntu - Hetzner DokuWiki

Vor allem der letzte Link sollte den entscheidenden Hinweis bringen.
Ich braucht übrigens nirgens eine MAC-Adresse angeben und würde auch davon abraten.

huschi.

omnivagus · Nov 2, 2008

Vielen Dank!

Habe hier gar nicht mehr reingeschaut, weil es geschlossen wurde und ich mittlerweile selbst die Hetzner-Dokus gefunden.

Nycoon · Nov 5, 2008

Hola,

kann mir wer einmal seinen menu.lst Auszug schicken? Ich hab noch was im Hinterkopf, dass Serverloft paar Parameter braucht, allerdings keine Ahnung mehr welche

.

Lg Nycoon

P.S. Debian/Ubuntu

omnivagus · Nov 5, 2008

also unter debian und Ubuntu brauchst du keine.
debian

Code:

title           Xen 3.0.3-1-amd64 / Debian GNU/Linux, kernel 2.6.18-6-xen-amd64
root            (hd0,0)
kernel          /xen-3.0.3-1-amd64.gz
module          /vmlinuz-2.6.18-6-xen-amd64 root=/dev/sda3 ro console=ttyS0,57600 console=tty0
module          /initrd.img-2.6.18-6-xen-amd64

Nycoon · Nov 5, 2008

Dank Dir, ich hatte nur im Hinterkopf, dass davon was am Anfang in der motd stand ;-)

Lg Nycoon

omnivagus · Nov 5, 2008

Mhhh, du installierst Xen auf serverloft? routed oder nat? Sag doch mal ob es geklappt hat bitte.

serverloft und xen

thefreak

Guest

Moderator

thefreak

Guest

Moderator

thefreak

Guest

Moderator

thefreak

Guest

New Member

New Member

thefreak

Guest

New Member

thefreak

Guest

New Member

SSF Facilitymanagement

Moderator

New Member

New Member

New Member

New Member

New Member

We value your privacy