Otra opción menos drástica es:
Unload Me
Cerrará la ventana actual y no te cerrará toda la aplicación. Además llamará al evento Unload del formulario.
La instrucción termina la ejecución de la aplicación completamente sin pasar por el evento Unload del formulario.
Espero haberte sido de ayuda