Python - Listar todos los archivos de una URL

Tengo un problema que no consigo solucionar. Tengo una URL en la que hay distintas carpetas según el día del mes. Es decir, en el mes de enero tengo 31 carpetas con nombres: 01,02,03,...,31. Entonces, me ayudaron el foro para conseguir listar todas las carpetas y recogerlas en variables de esta forma:

Lo que pasa es que ahora a mí me gustaría recorrer esas urls y listar los archivos de texto que hay dentro para luego a su vez abrir cada archivo de texto. Por ejemplo. Cuando i=1, con el código anterior obtendría: https://www.web.es/enero/01/ y en esa dirección tendré distintos ficheros con distintos nombres, por ejemplo: fichero1.txt, esteesotroarchivo.txt, archivo5.txt... Entonces lo que me gustaría es con otro código obtener: https://www.web.es/enero/01/fichero1.txt https://www.web.es/enero/01/esteesotroarchivo.txt etc.

He probado a usar:

Donde i es la carpeta en la que tengo los archivos que quiero listar, pero a parte de que poner la variable i no me funciona, si la sustituyo por una url completa:

Me ejecuta el código, pero me muestra todo lo que hay en la página: títulos, comentarios, etc. y yo solo querría los nombres de los archivos.

¿Cómo podría lograr esto? Gracias de antemano.

Hola Juan, la manera que se me ocurre es que utilices un bucle flor para ir obteniendo todos los archivo y los vayas añadiendo al array que quieras... algo así:


donde archivo es el nombre del archivo de la carpeta indicada.

Te puede servir?

Me sale que el sistema no puede encontrar la ruta especificada. Creo que path es solo para listar archivos del sistema no? Porque lo mio está en un servidor externo

Si están en un servidor externo tendrás que conectarte por ftp, ssh, samba, o utilizar alguna api del servidor, si no, no se me ocurre como tener acceso a leer los archivos.