Ein erster Ansatzpunkt sollte die Klärung sein, ob das evtl ein lokales Problem bei Dir ist, oder auch bei anderen Nutzern / Rechnern auftritt, d.h. ob alle Nutzer diese Audioprobleme haben.
Hast Du mal die verwendeten Codecs und Bitraten der Server und Channel verglichen? Evtl ist ja die Bitrate zu niedrig, oder der Codec zu schlecht. Man kann für jeden Channel andere Bitraten einstellen, daher müssen da wohl mal alle durchgecheckt werden. Die Voreinstellung "Voice Desktop" mit Opus voice und Qualität 6 sollte auf jeden Fall sehr gute Ergebnisse liefern.