Las diferentes formas de conectarnos a un servidor dedicado o servidor virtual varian dependiendo el sistema operativo que tengamos instalado. Ya que nos podemos conectar a través de escritorio remoto en el caso de que nuestro servidor tenga instalado cualquier versión de Windows.
Para servidores dedicados o servidores virtuales que tengan instalada cualquier distribución Linux: CentOS, Ubuntu, Debian, etc, podemos conectarnos desde Windows a través de cualquier aplicación que emule un terminal como puede ser WinSCP, OpenSSH, Putty. Si nos conectamos desde Linux podemos conectarnos a nuestro servidor utilizando el comando ssh que viene instalado en la mayoria de distros de Linux.
Enlace: Cómo utilizar Putty para conectarse a un servidor
Si quieres conectarte desde Windows 7 o Windows XP a tu servidor Windows puedes hacerlo desde las herramientas que te ofrece el propio sistema operativo. Para poder conectarte debes buscar la aplicación "Conexión a Escritorio Remoto" y poner los datos de su servidor. La aplicación en XP se encuentra en la siguiente ruta su barra de Inicio:
Inicio > Todos los Programas > Accesorios > Comunicaciones > Conexión a Escritorio Remoto
Lo más fácil:
Abrir una terminal y teclear ssh root@ip pública y escribir el password (No aparecera escrito)