Apache - optimizar apache

hola
Tengo un servidor en ovh con debian , es una imagen propia de ovh que lo instala todo no se si la habeis probado

El caso es que intento optimizar apache y estoy utilizando esta configuracion
IfModule mpm_prefork_module>
StartServers 5
MinSpareServers 20
MaxSpareServers 60
MaxRequestWorkers 60
MaxConnectionsPerChild 300

La configuracion la cambio en apache mods avalables

Mi consumo de ram por los procesos de apache son unos 12 megas +-
El servidor es un kimsufi con 2Gb de ram
Apache esta trabajando en modo prefork
He probado mil configuraciones poner todo a 1 valores gigantes y al hacer probar los bencharms
ab -n25 -c1

Siempre optengo el mismo valor +- con 2 segundos de diferencia
Concurrency Level: 1
Time taken for tests: 50.136 seconds
Complete requests: 25
Failed requests: 24

Pero si voy a gtmetrix y mido lo que tarda en cargar si que hay diferencias,

Solo voy a tener una pagina web con 5 visitas o 10 a la vez por lo que no necesito que agunte mil usuarios conectados pero los que se conoceten que funcione lo mas rapido posible

Que estoy haciendo mal para que no cambie el tiempo???

un saludo gracias

Hola Manu, nos puedes decir el dominio para probarlo?

Si es un subdominio en el que estoy haciendo pruebas
mimo4.certva.es