Pandas
Publicado por Gustavo (24 intervenciones) el 26/07/2021 23:31:35
Hola:
Estoy trabajando con archivos .csv que no entran en una planilla de cálculo.
Empecé a trabajarlos con Python y luego recurrí a la librería Pandas de Python.
Se trata de un archivo con actualización diaria, empezó siendo pequeño y rápidamente tomó gran tamaño. Tiene 25 columnas fijas y millones de filas, que son las que aumentan día a día.
Pude depurar el programa para que funcionara con el archivo cuando pesaba 1.7 GB y lo hice funcionar en ambas modalidades (con y sin Pandas).
Ahora, el archivo ya pesa 3.7 GB (y seguirá creciendo). Cuando corro el programa con la última versión del archivo (3.7 GB) desde la consola de Linux me dice:
Cuando lo corro con Python con Pandas, después de un tiempo me aparece un cartel que dice:
Subprocess Connection Error
IDLE's subprocess didn't make connection. See the 'Startup failure' section of the IDLE do, online at
https://docs.python.org/3/library/idle.html#startup-faIlure
(Error de conexión de subproceso
El subproceso de IDLE no hizo conexión. Consulte la sección 'Fallo de inicio' de IDLE
hacer, en línea en)
Cuando lo corro con Python sin Pandas, se me cuelga el SO (Ubuntu Focal Fossa))
Ya visité el enlace https://docs.python.org/3/library/idle.html#startup-faIlure, pero me dice poco y no me resultó de ayuda.
Es evidente que el conflicto está determinado por el tamaño, pero no se como superarlo.
Desde ya, muchas gracias.
Estoy trabajando con archivos .csv que no entran en una planilla de cálculo.
Empecé a trabajarlos con Python y luego recurrí a la librería Pandas de Python.
Se trata de un archivo con actualización diaria, empezó siendo pequeño y rápidamente tomó gran tamaño. Tiene 25 columnas fijas y millones de filas, que son las que aumentan día a día.
Pude depurar el programa para que funcionara con el archivo cuando pesaba 1.7 GB y lo hice funcionar en ambas modalidades (con y sin Pandas).
Ahora, el archivo ya pesa 3.7 GB (y seguirá creciendo). Cuando corro el programa con la última versión del archivo (3.7 GB) desde la consola de Linux me dice:
1
Terminado (Killed)
Cuando lo corro con Python con Pandas, después de un tiempo me aparece un cartel que dice:
Subprocess Connection Error
IDLE's subprocess didn't make connection. See the 'Startup failure' section of the IDLE do, online at
https://docs.python.org/3/library/idle.html#startup-faIlure
(Error de conexión de subproceso
El subproceso de IDLE no hizo conexión. Consulte la sección 'Fallo de inicio' de IDLE
hacer, en línea en)
Cuando lo corro con Python sin Pandas, se me cuelga el SO (Ubuntu Focal Fossa))
Ya visité el enlace https://docs.python.org/3/library/idle.html#startup-faIlure, pero me dice poco y no me resultó de ayuda.
Es evidente que el conflicto está determinado por el tamaño, pero no se como superarlo.
Desde ya, muchas gracias.
Valora esta pregunta
0