C/Visual C - ¿Máximo tamaño?

hola,
Estoy programando en C bajo Unix y el problema que tengo es el siguiente:

Leo y escribo un fichero de 800 Megas sin problemas pero cuando vuelvo a tratar el mismo fichero y en la misma ejecución del programa prácticamente con las mismas funciones me peta cuando llevo escritos alrededor de 300 megas.

He probado a cambiar el tamaño del buffer pero da lo mismo.
¿Puede ser por algún problema de memoria?, es extraño que pueda leeer y escribir el fichero una vez pero con el siguiente tratamiento falle.

¿Alguien me puede dar alguna idea?

Gracias.

¿Empleas reserva dinámica de memoria?
En caso afirmativo, ¿la liberas totalmente al finalizar la ejecución?

Lo que hago exactamente es:
Meto en memoria dinámica un fichero de 800 megas,
y leo linea a linea otro de similar tamaño. Por cada linea de este ultimo busca cierta informacion en el otro que esta en memoria y genero un nuevo fichero. Hasta ahí va todo bien.
A continuación, leo el fichero nuevo que acabo de generar linea a linea y y busco más informacíon en memoria para generar otro fichero, Es al escribir este último fichero cuando peta.
El proceso de liberar memoria dinámica lo hago después de escribir este último fichero con lo que el programa no llega hasta ahí.