Hallo. "Eigentlich" kannst du es eigentlich soweit drauflassen. Stört ja niemand. Aber bevor ich jetzt hier von irgendjemand, der es anders sieht noch mit Steinchen beworfen werde, schreibe ich dir mal lieber, wie du es entfernst...
Also in /etc/apache2 die Files für Loadmodule entfernen. Dann das .so File von PHO für Apache. Befindet sich im Lib-Dir von Apache. Meist /usr/lib/apache2(/modules).
Dann kommt es weiterhin auf deine Angaben in der ./configure an. Das Pear-Enviroment (meist in /usr/share/php) löschen... und alles weitere was eben mit PHP was am Hut hat.
Kannst ja auch den Server per (find oder locate) absuchen.
Aber mal ganz ehrlich: wen störts? Lass es doch einfach drauf. Juckt deinen Server nicht die Bohne, solange du keine Extensions für mod_php hast, die dann evtl. vom neuen PHP aus Versehen benutzt werden.
Die Loadmodule-Anweisungen sollte man jedoch in jedem Falle entfernen oder auskommentieren.
Ich hoffe ich konnte dir weiterhelfen.