Hola, si tu servidor no utiliza ningún lenguaje de programación como PHP, .NET, ..., tendrás que hacerlo con SSI (Server Side Includes)
Para que esto funcione, tienes que hacer una pequeña modificación en el servidor web... en apache, por ejemplo, puedes hacerlo de varias maneras, pero creo que no te escapas de modificar el archivo de configuración:
http://httpd.apache.org/docs/current/howto/ssi.html
Si tu servidor web te lo permite, tienes que crear una pagina con extensión .shtml, que tiene que contener únicamente el código que quieras que se coloque en las paginas que lo llamaran com
include, pero no tienes que poner ni <html>, <head>, <body>, etc... ya que estarán definidos en la pagina donde sea cargada mediante include. Las hojas de estilo (css), y el código javascript tampoco tienen que ser cargado, ya que estos también estarán definidos en la pagina que lo llame.
Un simple ejemplo:
pagina.html
pagina.shtml
Si tenéis el servidor web bien configurado os funcionara!!!
NOTA:
<!--#include
file=... es para rutas relativas (file.shtml, ../carpeta/file.shtml, ...)
<!--#include
virtual=... es para rutas absolutas (/carpeta/file.shtml, ...)