Кто может залогинится на сервере по ssh?
Иногда при установке разных сервисов добавляются пользователи в систему. В некоторых случаях — с возможностью логина в систему со стандартным паролем (sic!). Чтобы найти таких редисок, можно выполнить
cat /etc/shadow | grep -v \*\: | grep -v \!\:
И еще потенциально пользователи отсюда могут залогиниться
ls -l /home
Для того, чтобы ограничить доступ, надо в конфиге sshd добавить строчку
AllowUsers user1 user2