Visual Basic - Problemas con el Winsock

Tengo dos aplicaciones, una cliente y la otra servidor, el servidor está escuchando el puerto 4321 (llamando al método listen) y el cliente se conecta a él para pasarle unos parámetros para que el servidor ejecute tareas en la otra pc. El problema es que quiero correr esta aplicación "servidora" en mas de una pc así puedo elegir con el cliente a cuál conectarme, pero al ejecutar el segundo servidor me dice que la dirección ya está en uso y me marca el método listen, supongo que es por el mismo nro de puerto.

Me podrían ayudar para ver como hacer para que no surja ese error?
Gracias