Python - Phyton y Pandas: Iterar un dataframe e introducir valores basandome en valores de la fila anterior

Tengo unos valores tipo hora en formato HH:MM:SS en una columna
HORA ---------- FECHA
00:23:19
00:27:35
00:47:26
23:55:13
00:02:22

Y quiero escribir en otra columna valores de fecha dependiendo del valor hora y valor fecha de la fila anterior.

Es decir. A la primera fila le asigno el 01/01/2020 y a la segunda fila le asigno lo siguiente:

Si hora [i] >= hora [i-1] entonces fecha[i] = fecha [i-1];
en caso contrario fecha[i]= fecha[i]+1

HORA ----- FECHA
00:23:19 01/01/2020 (inicializado a mano)
00:27:35 01/01/2020
00:47:26 01/01/2020
23:55:13 01/01/2020
00:02:22 02/01/2020

Con Excel y formulas se hacerlo porque es sencillo pegando fórmulas a todas las filas, pero en PANDAS no se como hacerlo con los DATAFRAME.

A ver si alguien puede echarme una mano.

GRACIAS!!!