Linux - Acceso restringido a ftp

Hola a todos, estoy tratando de que un usuario que he creado solo pueda acceder a traves de ftp a su directorio y no a otros. Su directorio de trabajo lo he cambiado a uno diferente del home/, pero es que aun en el /home si accede al ftp puede subior de directorio y editar el contenido de casi todos los archivos. Como comprenderis esto no me interesa.
No necesito que el usuario pueda hacer mas cosas, solo que pueda utilizar su ftp con acceso restringido.
Queria saber si existe alguna forma relativamente encilla para hacer ésto. Muchas gracias y un saludo.

no indicas que servidor ftp usas, pero en el archivo de configuracion de cada servidor aparece como se hace.