Mira la forma que conozco es usando el objeto
FileSystemObjets
declaras una variable de tipo FileSystemObject
ej: Dim fso as Filesystemobject
Set fso = CreateObject("Scripting.FileSystemObject")
y luego solo tenes que hacer
fs.deleteFile(Ruta completa del archivo a borrar)
revisa bien la sintaxis usando la ayuda, pero mas o menos asi es el procedimiento.