Hi,
ich betreibe einen Konvertierungsdienst der es erlaubt flv-Videos in ein Format seiner Wahl zu konvertieren.
Jetzt weiß ich ja das encoding sehr rechen aufwendig ist, deswegen suche ich nach Lösungen wie man die ganze Geschichte Server schonender aufziehen kann.
Da ist mir die Idee gekommen „sheduling“ zu betreiben, allerdings habe ich davon eher weniger Ahnung.
Deswegen wollte ich fragen wie die Geschichte Funktioniert.
Meine Serverstruktur ist momentan folgende
All in One
Ich plane eine Struktur in der ich einen Webserver habe und 2 Convertserver besitze die Convertserver werden jeweils 2x 2,66 GHZ Prozessoren besitzen.
Hier ist mal ein ps -A log
der sh unter den ffmpeg Prozess ist ein „mv“ Befehl der über php mit system ausgeführt wird, wenn ich den jetzt mit copy und unlink komplett über php laufen lassen würde. Würde das positiv sein oder negativ?
Ich schiebe hier noch nen paar Logs nach um zu zeigen wie ernst die Lage ist.
Wie ihr den Logs entnehmen konnte habe ich einen avarage Load von mehr als 100 jetzt liegt es nahe das der apache braucht teilweise mehr als 1min um eine Seite aufzubauen.
ich betreibe einen Konvertierungsdienst der es erlaubt flv-Videos in ein Format seiner Wahl zu konvertieren.
Jetzt weiß ich ja das encoding sehr rechen aufwendig ist, deswegen suche ich nach Lösungen wie man die ganze Geschichte Server schonender aufziehen kann.
Da ist mir die Idee gekommen „sheduling“ zu betreiben, allerdings habe ich davon eher weniger Ahnung.
Deswegen wollte ich fragen wie die Geschichte Funktioniert.
Meine Serverstruktur ist momentan folgende
All in One
Ich plane eine Struktur in der ich einen Webserver habe und 2 Convertserver besitze die Convertserver werden jeweils 2x 2,66 GHZ Prozessoren besitzen.
Hier ist mal ein ps -A log
Code:
#ps -A
PID TTY TIME CMD
1 ? 00:00:01 init
2 ? 00:00:00 migration/0
3 ? 00:00:00 ksoftirqd/0
4 ? 00:00:00 migration/1
5 ? 00:00:00 ksoftirqd/1
6 ? 00:00:00 events/0
7 ? 00:00:00 events/1
8 ? 00:00:00 khelper
9 ? 00:00:00 kthread
13 ? 00:00:00 kblockd/0
14 ? 00:00:00 kblockd/1
15 ? 00:00:00 kseriod
88 ? 00:01:02 pdflush
89 ? 00:00:00 pdflush
90 ? 00:01:01 kswapd0
91 ? 00:00:00 aio/0
92 ? 00:00:00 aio/1
241 ? 00:00:00 kirqd
325 ? 00:00:00 ata/0
326 ? 00:00:00 ata/1
327 ? 00:00:00 ata_aux
368 ? 00:00:00 scsi_eh_0
369 ? 00:00:00 scsi_eh_1
386 ? 00:00:00 scsi_eh_2
387 ? 00:00:00 scsi_eh_3
743 ? 00:00:00 khubd
954 ? 00:00:00 md0_raid1
958 ? 00:01:44 md1_raid1
1033 ? 00:02:41 kjournald
1209 ? 00:00:00 udevd
1525 ? 00:00:00 kpsmoused
1673 ? 00:00:00 kmirrord
2231 ? 00:00:05 syslogd
2237 ? 00:00:00 klogd
2283 ? 00:00:00 mysqld_safe
2320 ? 00:00:13 mysqld
2321 ? 00:00:00 logger
2375 ? 00:00:00 spamd
2391 ? 00:01:59 clamd
2404 ? 00:00:00 spamd
2405 ? 00:00:00 spamd
2484 ? 00:00:01 freshclam
2492 ? 00:00:00 courierlogger
2493 ? 00:00:00 authdaemond
2499 ? 00:00:00 authdaemond
2500 ? 00:00:00 authdaemond
2501 ? 00:00:00 authdaemond
2502 ? 00:00:00 authdaemond
2503 ? 00:00:00 authdaemond
2507 ? 00:00:00 courierlogger
2508 ? 00:00:00 couriertcpd
2521 ? 00:00:00 courierlogger
2522 ? 00:00:00 couriertcpd
2529 ? 00:00:00 couriertcpd
2537 ? 00:00:00 courierlogger
2544 ? 00:00:00 courierlogger
2545 ? 00:00:00 couriertcpd
2714 ? 00:00:00 exim4
2740 ? 00:00:03 sshd
2789 ? 00:00:00 mdadm
2815 ? 00:00:00 cron
2851 tty1 00:00:00 getty
2853 tty2 00:00:00 getty
2854 tty3 00:00:00 getty
2855 tty4 00:00:00 getty
2857 tty5 00:00:00 getty
2858 tty6 00:00:00 getty
559 ? 00:00:00 pure-ftpd
32741 ? 00:00:02 apache2
16511 ? 00:00:20 apache2
17913 ? 00:00:02 apache2
19205 ? 00:00:17 apache2
19325 ? 00:00:17 apache2
19383 ? 00:00:23 apache2
19581 ? 00:00:20 apache2
19954 ? 00:00:21 apache2
20090 ? 00:00:17 apache2
20097 ? 00:00:23 apache2
20393 ? 00:00:14 apache2
20661 ? 00:00:21 apache2
20970 ? 00:00:06 apache2
20972 ? 00:00:10 apache2
20993 ? 00:00:11 apache2
21137 ? 00:00:20 apache2
21332 ? 00:00:20 apache2
21453 ? 00:00:15 apache2
21517 ? 00:00:18 apache2
21527 ? 00:00:16 apache2
21529 ? 00:00:19 apache2
21603 ? 00:00:18 apache2
21879 ? 00:00:21 apache2
21884 ? 00:00:18 apache2
21989 ? 00:00:19 apache2
21996 ? 00:00:15 apache2
22035 ? 00:00:23 apache2
22114 ? 00:00:23 apache2
22118 ? 00:00:10 apache2
22179 ? 00:00:16 apache2
22181 ? 00:00:14 apache2
22184 ? 00:00:22 apache2
22296 ? 00:00:22 apache2
22316 ? 00:00:14 apache2
22552 ? 00:00:13 apache2
22566 ? 00:00:07 apache2
22567 ? 00:00:08 apache2
22569 ? 00:00:18 apache2
22571 ? 00:00:20 apache2
22612 ? 00:00:20 apache2
22613 ? 00:00:21 apache2
22629 ? 00:00:08 apache2
22739 ? 00:00:18 apache2
22747 ? 00:00:23 apache2
22760 ? 00:00:18 apache2
28091 ? 00:00:15 apache2
28122 ? 00:00:19 apache2
28230 ? 00:00:14 apache2
7368 ? 00:00:00 sh
7369 ? 00:06:33 ffmpeg
8988 ? 00:00:00 sh
8989 ? 00:06:27 ffmpeg
10605 ? 00:00:00 sh
10606 ? 00:05:49 ffmpeg
12476 ? 00:00:00 sh
12477 ? 00:05:24 ffmpeg
13112 ? 00:00:00 sh
13113 ? 00:05:00 ffmpeg
14100 ? 00:00:00 sh
14101 ? 00:05:38 ffmpeg
17531 ? 00:00:00 sh
17532 ? 00:03:04 ffmpeg
18001 ? 00:00:00 sh
18002 ? 00:03:01 ffmpeg
18970 ? 00:00:00 sh
18971 ? 00:02:47 ffmpeg
19080 ? 00:00:00 sh
19081 ? 00:02:54 ffmpeg
19686 ? 00:00:00 sh
19687 ? 00:02:32 ffmpeg
20316 ? 00:00:00 sh
20317 ? 00:02:11 ffmpeg
20525 ? 00:00:00 sh
20526 ? 00:02:21 ffmpeg
21262 ? 00:00:00 sh
21263 ? 00:01:53 ffmpeg
23125 ? 00:00:00 sh
23126 ? 00:01:25 ffmpeg
23129 ? 00:00:00 sh
23130 ? 00:01:28 ffmpeg
23998 ? 00:00:00 sshd
24007 pts/1 00:00:00 bash
24066 ? 00:00:02 apache2
24077 ? 00:00:01 apache2
24081 ? 00:00:02 apache2
24199 ? 00:00:00 sh
24200 ? 00:01:02 ffmpeg
24569 ? 00:00:00 sh
24570 ? 00:01:00 ffmpeg
24701 ? 00:00:00 sh
24702 ? 00:01:02 ffmpeg
24739 ? 00:00:00 sh
24740 ? 00:00:51 ffmpeg
24927 ? 00:00:00 sh
24928 ? 00:00:52 ffmpeg
25036 ? 00:00:00 sh
25037 ? 00:00:45 ffmpeg
25340 ? 00:00:00 sh
25341 ? 00:00:42 ffmpeg
25519 ? 00:00:01 apache2
25558 ? 00:00:00 apache2
25583 ? 00:00:00 apache2
25586 ? 00:00:01 apache2
25588 ? 00:00:00 apache2
25777 ? 00:00:00 sh
25778 ? 00:00:31 ffmpeg
25931 ? 00:00:00 sh
25932 ? 00:00:30 ffmpeg
25965 ? 00:00:00 sh
25966 ? 00:00:32 ffmpeg
26031 ? 00:00:00 sh
26032 ? 00:00:33 ffmpeg
26047 ? 00:00:00 sh
26048 ? 00:00:34 ffmpeg
26055 ? 00:00:00 apache2
26180 ? 00:00:00 sh
26181 ? 00:00:28 ffmpeg
26283 ? 00:00:00 sh
26284 ? 00:00:26 ffmpeg
26289 ? 00:00:00 sh
26290 ? 00:00:27 ffmpeg
26339 ? 00:00:00 sh
26340 ? 00:00:26 ffmpeg
26475 ? 00:00:00 sh
26476 ? 00:00:20 ffmpeg
26533 ? 00:00:00 sh
26534 ? 00:00:24 ffmpeg
26562 ? 00:00:00 sh
26563 ? 00:00:24 ffmpeg
26616 ? 00:00:01 apache2
26621 ? 00:00:00 apache2
26624 ? 00:00:00 apache2
26630 ? 00:00:00 sh
26631 ? 00:00:23 ffmpeg
26636 ? 00:00:00 sshd
26640 ? 00:00:00 sftp-server
26683 ? 00:00:00 sh
26684 ? 00:00:21 ffmpeg
26699 ? 00:00:00 sh
26700 ? 00:00:18 ffmpeg
26920 ? 00:00:00 sh
26921 ? 00:00:19 ffmpeg
26922 ? 00:00:00 sh
26923 ? 00:00:16 ffmpeg
27085 ? 00:00:00 apache2
27090 ? 00:00:00 apache2
27092 ? 00:00:00 sh
27093 ? 00:00:13 ffmpeg
27109 ? 00:00:00 sh
27110 ? 00:00:13 ffmpeg
27112 ? 00:00:00 apache2
27153 ? 00:00:00 apache2
27184 ? 00:00:00 apache2
27218 ? 00:00:00 sh
27219 ? 00:00:13 ffmpeg
27240 ? 00:00:00 apache2
27243 ? 00:00:00 apache2
27292 ? 00:00:00 apache2
27327 ? 00:00:00 sh
27328 ? 00:00:11 ffmpeg
27334 ? 00:00:00 apache2
27363 ? 00:00:00 apache2
27381 ? 00:00:00 sh
27382 ? 00:00:12 ffmpeg
27406 ? 00:00:00 sh
27407 ? 00:00:09 ffmpeg
27415 ? 00:00:00 apache2
27416 ? 00:00:00 apache2
27417 ? 00:00:00 apache2
27437 ? 00:00:00 sh
27438 ? 00:00:09 ffmpeg
27475 ? 00:00:00 sh
27476 ? 00:00:07 ffmpeg
27491 ? 00:00:00 apache2
27501 ? 00:00:00 apache2
27513 ? 00:00:00 apache2
27525 ? 00:00:00 apache2
27537 ? 00:00:00 sh
27538 ? 00:00:08 ffmpeg
27548 ? 00:00:00 apache2
27559 ? 00:00:00 apache2
27564 ? 00:00:00 apache2
27565 ? 00:00:00 apache2
27567 ? 00:00:00 sh
27568 ? 00:00:08 ffmpeg
27570 ? 00:00:00 sh
27571 ? 00:00:06 ffmpeg
27573 ? 00:00:00 sh
27574 ? 00:00:08 ffmpeg
27600 ? 00:00:00 apache2
27606 ? 00:00:00 apache2
27608 ? 00:00:00 apache2
27609 ? 00:00:00 apache2
27610 ? 00:00:00 apache2
27676 ? 00:00:00 apache2
27681 ? 00:00:00 apache2
27682 ? 00:00:00 apache2
27683 ? 00:00:00 sh
27684 ? 00:00:07 ffmpeg
27689 ? 00:00:00 sh
27690 ? 00:00:05 ffmpeg
27691 ? 00:00:00 sh
27692 ? 00:00:06 ffmpeg
27693 ? 00:00:00 sh
27694 ? 00:00:07 ffmpeg
27697 ? 00:00:00 apache2
27725 ? 00:00:00 sh
27726 ? 00:00:05 ffmpeg
27732 ? 00:00:00 sh
27733 ? 00:00:07 ffmpeg
27747 ? 00:00:00 sh
27748 ? 00:00:05 ffmpeg
27754 ? 00:00:00 apache2
27755 ? 00:00:00 sh
27756 ? 00:00:04 ffmpeg
27757 ? 00:00:00 apache2
27764 ? 00:00:00 apache2
27767 ? 00:00:00 apache2
27769 ? 00:00:00 apache2
27778 ? 00:00:00 sh
27779 ? 00:00:05 ffmpeg
27782 ? 00:00:00 sh
27783 ? 00:00:04 ffmpeg
27788 ? 00:00:00 sh
27789 ? 00:00:04 ffmpeg
27793 ? 00:00:00 apache2
27798 ? 00:00:00 sh
27799 ? 00:00:04 ffmpeg
27808 ? 00:00:00 sh
27809 ? 00:00:03 ffmpeg
27813 ? 00:00:00 sh
27814 ? 00:00:02 ffmpeg
27836 ? 00:00:00 sh
27837 ? 00:00:05 ffmpeg
27841 ? 00:00:00 apache2
27842 ? 00:00:00 apache2
27849 ? 00:00:00 sh
27850 ? 00:00:05 ffmpeg
27851 ? 00:00:00 sh
27852 ? 00:00:04 ffmpeg
27853 ? 00:00:00 sh
27854 ? 00:00:05 ffmpeg
27856 ? 00:00:00 sh
27857 ? 00:00:05 ffmpeg
27858 ? 00:00:00 sh
27859 ? 00:00:05 ffmpeg
27865 ? 00:00:00 sh
27866 ? 00:00:03 ffmpeg
27867 ? 00:00:00 apache2
27868 ? 00:00:00 apache2
27869 ? 00:00:00 apache2
27870 ? 00:00:00 sh
27871 ? 00:00:04 ffmpeg
27872 ? 00:00:00 sh
27873 ? 00:00:05 ffmpeg
27880 ? 00:00:00 apache2
27882 ? 00:00:00 sh
27883 ? 00:00:04 ffmpeg
27889 ? 00:00:00 sh
27890 ? 00:00:04 ffmpeg
27897 ? 00:00:00 sh
27898 ? 00:00:03 ffmpeg
27899 ? 00:00:00 sh
27900 ? 00:00:03 ffmpeg
27906 ? 00:00:00 sh
27907 ? 00:00:03 ffmpeg
27916 ? 00:00:00 sh
27917 ? 00:00:03 ffmpeg
27920 ? 00:00:00 apache2
27922 ? 00:00:00 apache2
27923 ? 00:00:00 apache2
27924 ? 00:00:00 apache2
27925 ? 00:00:00 apache2
27927 ? 00:00:00 apache2
27928 ? 00:00:00 apache2
27929 ? 00:00:00 apache2
27930 ? 00:00:00 apache2
27937 ? 00:00:00 sh
27938 ? 00:00:02 ffmpeg
27957 ? 00:00:00 sh
27958 ? 00:00:02 ffmpeg
27959 ? 00:00:00 sh
27960 ? 00:00:03 ffmpeg
27961 ? 00:00:00 sh
27962 ? 00:00:01 ffmpeg
27963 ? 00:00:00 sh
27964 ? 00:00:01 ffmpeg
27965 ? 00:00:00 sh
27966 ? 00:00:03 ffmpeg
27967 ? 00:00:00 sh
27968 ? 00:00:02 ffmpeg
27971 ? 00:00:00 sh
27972 ? 00:00:04 ffmpeg
27973 ? 00:00:00 sh
27974 ? 00:00:02 ffmpeg
27975 ? 00:00:00 sh
27976 ? 00:00:01 ffmpeg
27977 ? 00:00:00 sh
27978 ? 00:00:03 ffmpeg
27979 ? 00:00:00 apache2
27996 ? 00:00:00 sh
27997 ? 00:00:01 ffmpeg
28001 ? 00:00:00 sh
28002 ? 00:00:02 ffmpeg
28005 ? 00:00:00 sh
28006 ? 00:00:02 ffmpeg
28011 ? 00:00:00 apache2
28016 ? 00:00:00 apache2
28017 ? 00:00:00 apache2
28019 ? 00:00:00 sh
28020 ? 00:00:02 ffmpeg
28026 ? 00:00:00 apache2
28027 ? 00:00:00 apache2
28028 ? 00:00:00 sh
28029 ? 00:00:02 ffmpeg
28032 ? 00:00:00 sshd
28037 ? 00:00:00 sh
28038 ? 00:00:03 ffmpeg
28039 pts/0 00:00:00 bash
28044 ? 00:00:00 sh
28045 ? 00:00:01 ffmpeg
28068 ? 00:00:00 apache2
28069 ? 00:00:00 apache2
28070 ? 00:00:00 apache2
28072 ? 00:00:00 apache2
28076 ? 00:00:00 sh
28077 ? 00:00:01 ffmpeg
28089 ? 00:00:00 sh
28090 ? 00:00:02 ffmpeg
28094 ? 00:00:00 apache2
28095 ? 00:00:00 sh
28096 ? 00:00:00 ffmpeg
28124 ? 00:00:00 sh
28125 ? 00:00:00 ffmpeg
28130 ? 00:00:00 sh
28131 ? 00:00:01 ffmpeg
28198 ? 00:00:00 sh
28199 ? 00:00:00 ffmpeg
28202 ? 00:00:00 sh
28203 ? 00:00:00 ffmpeg
28215 ? 00:00:00 apache2
28216 ? 00:00:00 apache2
28218 ? 00:00:00 apache2
28219 ? 00:00:00 apache2
28221 ? 00:00:00 apache2
28222 ? 00:00:00 apache2
28223 ? 00:00:00 apache2
28224 ? 00:00:00 apache2
28225 ? 00:00:00 apache2
28228 ? 00:00:00 apache2 <defunct>
28229 ? 00:00:00 apache2
28231 ? 00:00:00 apache2
28232 ? 00:00:00 apache2
28233 ? 00:00:00 apache2
28234 ? 00:00:00 apache2
28235 ? 00:00:00 apache2
28236 ? 00:00:00 apache2
28237 ? 00:00:00 apache2
28238 ? 00:00:00 apache2
28239 ? 00:00:00 apache2
28242 ? 00:00:00 sh
28243 ? 00:00:00 ffmpeg
28246 pts/0 00:00:00 psder sh unter den ffmpeg Prozess ist ein „mv“ Befehl der über php mit system ausgeführt wird, wenn ich den jetzt mit copy und unlink komplett über php laufen lassen würde. Würde das positiv sein oder negativ?
Ich schiebe hier noch nen paar Logs nach um zu zeigen wie ernst die Lage ist.
Code:
top - 00:52:27 up 5 days, 4:20, 2 users, load average: 100.95, 102.50, 113.76
Tasks: 392 total, 23 running, 369 sleeping, 0 stopped, 0 zombie
Cpu(s): 17.7%us, 0.6%sy, 0.0%ni, 81.0%id, 0.1%wa, 0.4%hi, 0.2%si, 0.0%st
Mem: 2043556k total, 1981536k used, 62020k free, 5512k buffers
Swap: 1999984k total, 52k used, 1999932k free, 899148k cached
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
23126 www-data 18 0 15632 8048 1236 R 19 0.4 1:21.91 ffmpeg
26995 www-data 18 0 14020 6932 1412 R 19 0.3 0:14.70 ffmpeg
27587 www-data 18 0 14004 6884 1412 R 19 0.3 0:04.39 ffmpeg
27733 www-data 18 0 14000 6928 1412 R 19 0.3 0:02.11 ffmpeg
27756 www-data 18 0 14848 7464 1240 R 19 0.4 0:01.01 ffmpeg
27110 www-data 18 0 15020 7552 1240 R 17 0.4 0:08.91 ffmpeg
27538 www-data 18 0 14020 6876 1412 R 17 0.3 0:03.49 ffmpeg
27540 www-data 18 0 13976 6864 1412 R 17 0.3 0:04.59 ffmpeg
24408 www-data 18 0 16208 8216 1348 R 11 0.4 0:59.62 ffmpeg
21263 www-data 18 0 14672 7620 1472 R 10 0.4 1:50.96 ffmpeg
27489 www-data 18 0 14020 6856 1412 R 10 0.3 0:04.46 ffmpeg
23130 www-data 18 0 16780 8964 1348 R 6 0.4 1:23.12 ffmpeg
7369 www-data 18 0 18300 9868 1236 R 4 0.5 6:30.15 ffmpeg
24740 www-data 18 0 15008 7572 1240 R 4 0.4 0:46.81 ffmpeg
27825 root 15 0 2496 1244 780 R 4 0.1 0:00.03 top
1 root 15 0 1948 664 568 S 0 0.0 0:01.39 init
2 root RT 0 0 0 0 S 0 0.0 0:00.12 migration/0
3 root 34 19 0 0 0 S 0 0.0 0:00.02 ksoftirqd/0
4 root RT 0 0 0 0 S 0 0.0 0:00.09 migration/1
5 root 34 19 0 0 0 R 0 0.0 0:00.01 ksoftirqd/1
6 root 10 -5 0 0 0 S 0 0.0 0:00.00 events/0
7 root 10 -5 0 0 0 S 0 0.0 0:00.00 events/1
8 root 15 -5 0 0 0 S 0 0.0 0:00.34 khelper
9 root 17 -5 0 0 0 S 0 0.0 0:00.00 kthread
13 root 10 -5 0 0 0 S 0 0.0 0:00.23 kblockd/0
14 root 10 -5 0 0 0 S 0 0.0 0:00.08 kblockd/1
15 root 10 -5 0 0 0 S 0 0.0 0:00.00 kseriod
88 root 15 0 0 0 0 S 0 0.0 1:02.17 pdflush
89 root 15 0 0 0 0 S 0 0.0 0:00.90 pdflush
90 root 11 -5 0 0 0 S 0 0.0 1:01.47 kswapd0
Code:
#iostat
Linux 2.6.18-6-k7 (XXX.server4you.de) 03/25/2008
avg-cpu: %user %nice %system %iowait %steal %idle
17.74 0.00 1.15 0.11 0.00 81.00
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sda 7.75 86.82 1847.25 38868958 826993100
sdb 8.96 1142.76 812.01 511602058 363528308
md0 0.00 0.03 0.00 12758 132
md1 106.40 194.31 806.05 86992226 360861376Wie ihr den Logs entnehmen konnte habe ich einen avarage Load von mehr als 100 jetzt liegt es nahe das der apache braucht teilweise mehr als 1min um eine Seite aufzubauen.
