Jak w temacie.
Edytuj plik /etc/ssh/sshd_config
Na końcu dodając to, co potrzebujesz, tj.
AllowUsers <user> DenyUsers <user> DenyGroups <group> AllowGroups <group>
Możesz wykorzystać przykładowo tylko AllowUser i wpisać tutaj użytkowników, którzy mogą mieć dostęp. Jeśli w plik konfiguracyjnym będzie istniał ten wpis, to użytkownicy, którzy nie będą wypisani, nie będą mieli dostępu. Analogicznie reszta.