Creo recordar que hace algún tiempo surgió este mismo problema. Por lo visto a VB no le gusta nada que una valor de una clave del registro no tenga nombre, así que no admite que se deje en blanco, que es la forma de almacenar un valor predeterminado. Si no recuerdo mal la solución que apunté entonces es recurrir al API de Windows para acceder al registro; de esta forma sí es posible dejar en blanco el nombre del valor.