Python - ejecutar sin instalar

Digamos que creo un programa un python y hago un ejecutable usando py2.exe, por lo que entiendo así puedo ejecutar mi programa en una maquina que no tenga instalado el python, mi pregunta es ¿puedo ejecutar mi programa sin instalarlo, es decir simplemente abrirlo o ejecutarlo como si fuese un archibo cualquiera es que windows tiene una opcion para no permitir instalar nada y a una maquina de esas hago referencia?

Si es posible