SSH でログインそのものはできるが非常に時間がかかるという場合、DNS の設定がよろしくない場合があります。 そんな時は、sshd_config に以下を追記してみてください。

UseDNS no