mod_rewrite: /files/bla.txt -> /files/test/bla.txt wie?

[siradlib]

Hallo zusammen,

ich möchte einen Download-Bereich für mehrere User auf meinem Server einrichten und dieses mittels .htaccess und mod_rewrite realisieren.
Dabei liegen die Dateien unter

/files/test/

oder

/files/user/

Wobei "test" ein User ist, "user" der andere.
Die Umleitung in den jeweiligen Benutzerbereich realisieren ich mittels einem .htaccess unter /files:

AuthName "irgendein Text"
    AuthType Basic
    AuthUserFile /var/www/htpasswd
    require valid-user
    RewriteEngine On
    RewriteCond %{REMOTE_USER} ^test$ [NC]
    RewriteRule (.*) test/ [L]
    RewriteCond %{REMOTE_USER} ^user$ [NC]
    RewriteRule (.*) user/ [L]

Es klappt schonmal soweit, dass wenn man sich z.B. als User "test" anmeldet, man den Inhalt des Verzeichnisses

/files/test/

angezeigt bekommt. Soweit, so gut.
Nun möchte man z.B. als Benutzer die Datei

/files/test/hallo.txt

herunterladen. Für den Browser sieht es aber so aus, als ob man sich noch eine Verzeichnisebene weiter oben befindet, er schickt einen Request nach

/files/hallo.txt

. Dieser Request soll nun durch eine weitere .htaccess auf den richtigen Request

/files/test/hallo.txt

umgebogen werden mit folgender .htaccess:

RewriteEngine On
    RewriteCond %{REMOTE_USER} ^test$ [NC]
    RewriteRule ^/files/(.*)$ /files/test/$1

Leider funktioniert das so nicht: Klicke ich die Datei an, passiert einfach "nichts", also der Dateiindex wird erneut ausgegeben.
Hat jemand eine Idee, wo mein Denkfehler ist?