Visual Basic.NET - Servidor local de videos

Estoy realizando una aplicacion que crea un servidor web con reproduccion de videos que la aplicacion busca en una carpeta determinada, el hecho es que logro enviar los videos en formato mp4, el problema que tengo es cuando el video esta en otro formato, por ejemplo mkv, intente convertirlo a mp4 antes y luego leerlo, pero eso tarda muchisimo, lo que me gustaria hacer es comenzar a enviar el archivo mientras se convierte, pero al abrirlo me da error de que el archivo esta en uso, ojala puedan ayudarme en esto.

Saludos :B