Visual Basic - mantener un form con datos despues de un error.

Tengo un formulario para capturar datos, necesito encontrar la forma para que cuando exista un error no se salga del formulario y me borre todo, necesito que me permita corregir el error para volver a presionar el botón de guardar, en este botón llamo a una función para que guare los datos en la BD y para que me envié un error si es que algo esta mal. Agradezco muchísimo su valiosa ayuda.

No se exactamente a que tipo de errores te refieres, si a errores de ingreso de datos del usuario o errores del programa, en: http://msdn.microsoft.com/library/en-us/vbenlr98/html/vastmOnError.asp tienes documentación sobre el tratamiento de errores.