Visual Basic - Winsock Avanzado

Quiero programacion una aplicacion cliente servidor para transferencias de la siguiente manera:

Cliente1 - Usuario convencional (IP DINAMICA TRAS UN ROUTER)
Cliente2 - Usuario convencional (IP DINAMICA TRAS UN ROUTER)
Servidor - Servidor con IP FIJA

Cliente1 y 2 inician sesion en servidor

Cliente1 intenta enviar un archivo a cliente2

La transferencia se inicia atravez del servidor

Cliente1 envia Servidor (Recibe y Reenvia) a cliente2

La idea es que el servidor conforme vaya recibiendo vaya enviando

NO RECIBIR TODO COMPLETO Y LUEGO ENVIAR ESO NI PENSARLO CON ARCHIVOS GRANDES TARDARIA UNA ETERNIDAD

la idea es hacerlo en tiempo real, instantaneamente no importa que la tasa de trasnferencia sea lenta. alo como skype, messenger o yahoo messenger una trasnferencia instantanea.

esto quiero logra, si alguien tiene alguna informacion de como lograrlo se lo agradesecira muchisimo

preguntas:
1.- cual es el probema ?
2.- en que paso vas ?

suspuestos comandos que el servidor y cliente entienden (Protocolo)

EnviarArchivo = 1
AceptarArchivo=2
DenegarArchivo=3
Archivo=4

el servidor tiene una lista con usuarios conectados cada uno con su nick

1.- CMZ
2.- Pepito
3.- etc..

CMZ quiere enviar un archivo a Pepito (foto.jpg que pesa 100 bytes).
CMZ envia el comando 1 (EnviarArchivo) con sus parametros al servidor y el servidor se lo pasa a Pepito
--Send(1:CMZ:Pepito:foto.jpg:100)

Pepito lo recibe el comando 1 y ve sus parametros para mostar un Msgbox que dira.. Usuario CMZ quiere enviar el archivo foto.jpg (100 Bytes) Aceptar/Denegar?

Pepito apreta aceptar en ese instante Pepito creara un archivo Foto.jpg vacio y enviara el comando 2 al servidor y el servidor se lo pasara a CMZ
--Send(2:CMZ)

CMZ lo recibe y empieza a leer los bytes de foto.jpg y los empieza a enviar al servidor, y el servidor a Pepito
--Send(4:CMZ:Pepito:CantidadDeBytesEnviados:BytesEnviados)

Pepito verifica que es CMZ el que esta enviado CantidadDeBytes y lo escribe al archivo que creo.

y la idea es asi.

que asco de foro que no tiene opcion de formatear texto se ve horrible cuando uno escribe aqui.