Oracle - Consulta oracle

Tengo un problema en la siguiente consuta. He de encontrar el valor maximo de un campo calculado media de la diferencia de dos fechas y me da un error ORA 937 y no veo como hacerlo.
La consulta es la siguiente

select max(avg(fechafin-fechainicio)) as media
from prestamo INNER JOIN usuario ON prestamo.usuario=usuario.dni
group by prestamo.usuario;

Hasta aqui bien, saca el valor maximo de la media. Pero si quiero ver el nombre del usuario y pongo esto:

select max(avg(fechafin-fechainicio)) as media,usuario.nombre
from prestamo INNER JOIN usuario ON prestamo.usuario=usuario.dni
group by prestamo.usuario;

Me da un error ORA-937 La funcion de grupo no es de grupo unico. Como podria resolverlo?

Muchas gracias.