necesitas un servicio configurado con la opción "Permitir a los servicios que interactúen con el escritorio" marcada, porque si no es así no te va a dejar abrir los formularios.
Además el servicio debe arrancar la aplicación windows como un proceso, con la clase System.Diagnostics.Process.