Java - Borrar archivos de un fichero

Soy nuevo , tengo un proograma que solo utiliza serializacion e hidratacion, y necesito borrar unos archivos de texto dentro de una carpeta.. uso el metodo delete(), pero creo que no funciona debido a que mi programa usa esos archivos de texto para hidratar.. no se si me explico, mi programa usa los archivos por lo tanto no se si por eso no puedo borrarlos