Hallo liebe Community,
Wir haben ein kleines Problem mit unserem Debian Server und braeuchten dringend einen Ratschlag
Ich fang einfach mal an:
Auf unserem Server laeuft ein 'Konvertierungsdienst', der user hat die moeglichkeit ein video in einem beliebigen Format hochzuladen und unser
Dienst wandelt das ganze dann in ein anderes Format um.
Realisiert wird das ganze mittels php welches dann ffmpeg als syscall aufruft.
Eines der Probleme ist im Grunde die extrem hohe Last die dabei verursacht wird.
Hier ein kleiner Auszug:
Jedenfalls ist der Apache momentan nur noch ganz schlecht zu erreichen (trotz priority handling mit nice)
Irgendwas bringt das Scoreboard auf lauter Waiting Eintraege:
Im error log finde ich auch jede Menge von diesen Eintraegen:
Und nein, es liegt auch nicht an dem EnableSendfile = OFF wie in der apache doku beschrieben. Den Fehler habe ich auch schon oefters auf meinen anderen beiden Servern gesehen wo vollkommen andere Sachen laufen, mir ist aber nach wie vor unklar wie man das nun deuten soll.
Also vermutlich liegt es wohl eher am Script, bzw an der Art wie PHP ffmpeg aufruft.
Das script ruft über "proc_open()" das Konvertierungskommando auf.
Wer diese Funktion kennt weiß das sie über 2 Pipes den Output der Funktion wieder gibt.
Über die Funktion "fread()" lesen wir dann also diese Pipes aus.
Danach parsed nur noch ein Regex die notwendigen Daten raus und die Arbeit ist getan.
Über eine While schleife wird das ganze dann wiederholt.
Um den Status nun aber auch an den User zu geben verwende ich "file_put_contents()".
Mit dieser Funktion erstelle ich eine XML-Datei mit den Daten die der User dann sehen soll.
Diese Daten werden dann anschließen über Ajax ausgelesen.
Beim Convertscript öffne ich dabei den FFmpeg Prozess mit „proc_open()“ und lese dann den Status aus.
Das ganze geschieht mit proc_open() weil wir eine Progressbar eingebaut haben die dem user anzeigt : 'x % fertig'
Wir sind uns natuerlich nicht sicher ob dieser Weg so so intelligent ist...ich wuerde mich ueber Verbesserungsvorschlaege natuerlich freuen.
Danke für jede Antwort
Wir haben ein kleines Problem mit unserem Debian Server und braeuchten dringend einen Ratschlag
Ich fang einfach mal an:
Auf unserem Server laeuft ein 'Konvertierungsdienst', der user hat die moeglichkeit ein video in einem beliebigen Format hochzuladen und unser
Dienst wandelt das ganze dann in ein anderes Format um.
Realisiert wird das ganze mittels php welches dann ffmpeg als syscall aufruft.
Eines der Probleme ist im Grunde die extrem hohe Last die dabei verursacht wird.
Hier ein kleiner Auszug:
Jedenfalls ist der Apache momentan nur noch ganz schlecht zu erreichen (trotz priority handling mit nice)
Irgendwas bringt das Scoreboard auf lauter Waiting Eintraege:
Gibt es neben mod_status noch irgendwelche detailiertere Moeglichkeiten solche Fehler schnell zu finden?
Im error log finde ich auch jede Menge von diesen Eintraegen:
Laut mehrfachem Googlen stellte sich heraus dass dass bei den anderen immer mit fehlerhaften (vhost)Settings in der Config zu tun hat..ich denke aber das ist bei uns nicht der Fall, der Fehler tritt selbst bei einer unveraenderten Apache config auf bzw bei einer "frischen" apache config.
Und nein, es liegt auch nicht an dem EnableSendfile = OFF wie in der apache doku beschrieben. Den Fehler habe ich auch schon oefters auf meinen anderen beiden Servern gesehen wo vollkommen andere Sachen laufen, mir ist aber nach wie vor unklar wie man das nun deuten soll.
Also vermutlich liegt es wohl eher am Script, bzw an der Art wie PHP ffmpeg aufruft.
Das script ruft über "proc_open()" das Konvertierungskommando auf.
Wer diese Funktion kennt weiß das sie über 2 Pipes den Output der Funktion wieder gibt.
Über die Funktion "fread()" lesen wir dann also diese Pipes aus.
Danach parsed nur noch ein Regex die notwendigen Daten raus und die Arbeit ist getan.
Über eine While schleife wird das ganze dann wiederholt.
Um den Status nun aber auch an den User zu geben verwende ich "file_put_contents()".
Mit dieser Funktion erstelle ich eine XML-Datei mit den Daten die der User dann sehen soll.
Diese Daten werden dann anschließen über Ajax ausgelesen.
Beim Convertscript öffne ich dabei den FFmpeg Prozess mit „proc_open()“ und lese dann den Status aus.
Das ganze geschieht mit proc_open() weil wir eine Progressbar eingebaut haben die dem user anzeigt : 'x % fertig'
Wir sind uns natuerlich nicht sicher ob dieser Weg so so intelligent ist...ich wuerde mich ueber Verbesserungsvorschlaege natuerlich freuen.
Danke für jede Antwort
Last edited by a moderator:
