Linux/Unix Shell Scripting - Leer un archivo de 5 Gb mucho mas rapido

buenas tardes amigos tengo una pregunta deseo leer archivos donde cada uno pesa aprox. 10 mb en total hacen 5 Gb todos donde hago lo siguiente:

gzcat nombre_de_archivo.*.*.gz | awk -F: '{print $4}' | sed 's/ERR<//g' | sed 's/>//g' | sort -nr | uniq -c

pero me tarda un monton de tiempo como 2 hrs, quisiera saber si hay alguna manera de leer los archivos con mas rapidez

Gracias por su ayuda.

Pues ... no solamente awk es lento para ficheros largos sino que tanto sort como uniq (en alguna implementación) necesitan generar ficheros intermedios ... así que probablemente el mayor problema (no el único) es la velocidad del disco.

Sería algo más rápido si trabajases en un filesystem montado en memoria (por ejemplo algunas distros montan el /tmp/ en memoria RAM).

Quizás si comentas lo que quieres hacer se pueda buscar la forma de eliminar algún paso intermedio.