Kann man machen, halte ich aber für echt unpraktisch.
Wenn du SSH ohnehin so konfigurierst dass nur Key-Basierte authentifizierung möglich ist, würde ich den SSH-Port höchstens woanders hin verlegen um das Log nicht so vollgemüllt zu bekommen.
Alternativ kann man über VPN nachdenken und den...