In dem von fbartels zitierten Text wird beschrieben, wie man die User von Dovecot durch PAM prüfen läßt. Damit kann man in /etc/pam.d/imap einfach zusätzliche Module einbauen, die neben der Überprüfung des Paßwortes durchlaufen werden.
Eines der Module ist der Test, ob der Username in einer angegebenen Datei enthalten ist. Wie das geht, steht ebenfalls im verlinkten Text. Das scheint dir ja offenbar nicht zu gefallen und deshalb habe ich gefragt, wie du es denn stattdessen lösen möchtest. PAM ist jedenfalls flexibel und erlaubt z.B. auch den Test, ob der User zu einer vorgegebenen Gruppe gehört. Das macht das Modul pam_succeed_if, dessen Doku ich verlinkt hatte.
In beiden Fällen mußt du eine Datei pflegen, ob die nun /etc/group oder anders heißt...